בקיץ 1940 הגיעו במפקדה הארצית של ההגנה למסקנה כי הגיעה העת לייסד שירות ידיעות כלל ארצי. בספטמבר 1940 הוקם הש"י רשמית. אחת המשימות של הש"י עם היווסדו הייתה לברר את טענות הבריטים כי בין המעפילים שעלו ארצה ערב המלחמה הסתננו סוכנים נאצים. חקירת הש"י העלתה כי אין יסוד לחשדות.
תפקיד נוסף שהוטל על הש"י היה מעקב אחר ארגוני האצ"ל והלח"י שלא סרו למרות הנהגת הישוב.
אחת המחלקות החשובות בש"י הייתה המחלקה הבריטית, שמשימתה העיקרית הייתה לשאוב מידע ממשרדיה ומארכיונה של הבולשת הבריטית, שנקראה "המחלקה לחקירת פשעים", ה-C.I.D. לרשות המחלקה הבריטית עמדו מאות שוטרים ופקידי ממשל יהודים, שנאמנותם הראשונה הייתה לארגון ההגנה, והם השיגו עבור הש"י מידע רב ערך.
הש"י קיים שירות האזנה שיירט תשדורות סודיות של הבריטים ועסק בפענוח הצפנים הבריטיים. במשך תקופה מסוימת הצליח הש"י לשים ידו על "הצופן האימפריאלי" שבו נשלחו המברקים המדיניים החשובים ביותר ללונדון.
בשנת 1944 הצטרף למטה הש"י איסר הראל (אז הלפרין), איש משמר החופים ומשטרת הישובים העבריים, תחילה כמזכיר המחלקה היהודית ולאחר מכן כראש המחלקה, ומשנת 1947 ועד לקום המדינה היה מפקד מחוז תל אביב.