מועדון השחמט הרשמי של שס
המפלגה הוקמה כמפלגה מוניציפלית (עם רצון להתמודד בעתיד כרשימה עצמאית) בשנת 1982, לקראת הבחירות לעיריית ירושלים שנערכו באוקטובר 1983. מקימי ש"ס המוניציפלית היו ירושלמים חרדים-ספרדים בשנות ה-30 לחייהם, ובראשם יעקב כהן, נסים זאב ושלמה דיין (שני האחרונים לימים חברי כנסת)[2]. הם התייאשו מהאגף המזרחי בתוך "אגודת ישראל", והחליטו להקים מפלגה אשר תפנה לא רק אל האוכלוסייה החרדית-ספרדית, אלא לכלל המזרחים בישראל, כולל אלה שאינם שומרים מצוות. שם המפלגה שנבחר היה "התאחדות הספרדים שומרי תורה", והאותיות שנבחרו היו ש"ס, ומכאן ואילך זה היה שמה של המפלגה בפי כל.
לקראת הבחירות הוקמה מועצת חכמי התורה בהנהגתו של הרב עובדיה יוסף, כאשר הרב שך, מנהיג הזרם החרדי-ליטאי, תמך בהקמתה. הרב שך היה מתומכיה המובהקים של ש"ס עד שנת 1990 (אז החליט לפרוש בשל פרשיית "התרגיל המסריח"). המפלגה הצליחה בבחירות המוניציפליות של 1983 וזכתה בשלושה מנדטים.
לאחר ההצלחה בבחירות לעיריית ירושלים, הפכה ש"ס לתנועה ארצית במטרה להתמודד בבחירות לכנסת האחת עשרה, שנערכו בשנת 1984. בראש הרשימה הועמד הרב יצחק פרץ. תנועת ש"ס זכתה בבחירות אלו ל-4 מנדטים והייתה הפתעת הבחירות. הצלחת המפלגה תרמה לקרע שנוצר בתוך אגודת ישראל בין הליטאים והחסידים. כתוצאה מקרע זה הורה הרב שך לתומכיו להצביע לש"ס וכך עברו כשני מנדטים מאגודת ישראל לש"ס. כשנה לאחר הבחירות, בשנת 1985, כתוצאה מקרע בין ש"ס הירושלמית לש"ס הארצית, שונה שמה של המפלגה הארצית לש"ס - התאחדות הספרדים העולמית שומרי תורה. אחד מהישגיה הראשוניים בזירה הפוליטית ב"מלחמה על השבת" נרשם כבר בשנת 1986 כשראש הממשלה שמעון פרס נכנע ללחץ ראשיה והורה על סגירת שוק השבת הראשון במדינה, "הפישפשוק", בקיבוץ ניר אליהו.
