בתי דינים אזוריים מפוזרים היו בכל ערי ישראל. הם היו שופטים את העם, פוסקים הלכות, ומיישבים את הספקות בכל תחומי ההלכה היהודית – משאלות טהרה וטומאה ועד לדיני ממונות ונפשות. אלא שלבתי דין אלו היה כח מוגבל. הם לא היו רשאים לפסוק בכל סוגיא ציבורית, ולמשל שאלת מינויים של בתי הדין המקומיים עצמם, מינוי הכהן הגדול, קביעת ראשי החדשים והשנים, מינוי המלך, ועוד. לפסקים חשובים כאלו נזקק היה בית הדין הגדול שבירושלים. בנוסף היה בית הדין הגדול פושט ופוסק בכל שאלה שנותרה עדיין פתוחה ושעליה לא פסקו בתי הדין המקומיים, או שלא הגיעו לכלל הכרעה. במקרה כזה היו הדיינים המקומיים עולים לירושלים ומבררים שם את ענינם.

 

בירושלים היו למעשה שלשה בתי דינים. הראשון היה יושב על פתח הר הבית והוא היה תחנה הראשונה. אם פסק בית דין זה את פסקו מוטב ואם לא עולים הדיינים מן ערי השדה אל בית הדין שהיה יושב בפתח העזרה. גם שם מנסים הדיינים לברר את ההלכה ואם אף הם לא הגיעו לכלל הכרעה עולים הם אל בית הדין הגדול שהיה יושב בלשכת הגזית שממנו יוצאת תורה לכלל ישראל. בית דין הוא ההכרעה האחרונה, שכן בידו הופקדה הקבלה והפרשנות המוסמכת של התורה.

 

מי היה יושב בסנהדרין - בבית הדין הגדול? מטבע הדברים גדולי הדיינים ותלמידי החכמים נמנו על חבריו של מוסד עליון זה. הם נבחרו מכל השבטים בלא הבדל. למרות זאת, ישנה מצווה למנות דיינים משבט לוי כלומר כהנים ולויים ובלבד שיהיו ראויים למשרתם. באופן כללי נשיא בית הדין הגדול היה גם הכהן הגדול. 

 

מוסד בית הדין הגדול נחשב לסמכות המשפטית העליונה בכל דור גם אם נופל הוא בכישוריו מבית הדין של הדור הקודם. ישנה מצוות עשה לשמוע בקולו של בית הדין גם אם פסקיו נתפסים כתמוהים לגמרי וכבלתי חוקיים בעליל. יתירה מזו, חכם העובר בזדון על מצוותו של בית הדין מכונה בתלמוד כ'זקן ממרא' ודינו המפורש בתורה הוא מוות. 

 

כאמור בית הדין מכריז על מינויים, קובע מועדות, פושט את ספיקות בתי הדין הקטנים וכו' אך גם רשאי לתקן תקנות הנראות בעיניו כהולמות את צו השעה. התורה מדגישה כי דבריו של בית הדין כמוהם כעיקרי תורה ומכאן ההתייחסות החמורה לאלו המסרבים לציית לפסקיהם.