31.1.2013

בטל בשישים - אחרי הבחירות

בחירות 2013 הסתיימו בניצחון דחוק של גוש הימין, עם 61 מנדטים לעומת 21 מנדטים בגוש המרכז ו-38 בגוש השמאל. המפלגות הגדולות (הליכוד-ביתנו ומפלגת העבודה) קרסו ברגע האמת ומפלגת המרכז החדשה יש עתיד נסקה מעלה על חשבונן (וגם על חשבון מפלגות הלווין בשני הגושים, התנועה משמאל והבית היהודי מימין). 

סקרי הבחירות היו ברובם רחוקים למדי מזיהוי נכון של הלכי הרוח בציבור. תחזית בטל בשישים, למרות ההנחות שנוספו לניתוח-העל של הסקרים, לא צמצמה מספיק את הפער ולא מנעה את תחושת ההפתעה. 
כעת, אחרי שהאבק שקע, ניתן לפנות לסיכומים והסקת מסקנות. מה עשינו נכון? מה עשינו לא נכון? מהן המסקנות לקראת העתיד? בואו נעשה יחד את חשבון הנפש...

נפתח בהתבוננות במספרים:

בטבלה שלעיל ניתן לראות את סכום השגיאות במנדטים של כל סקר בהשוואה לתוצאות האמת. תחזית בטל בשישים היתה רחוקה 18 מנדטים בסה"כ מתוצאות האמת (עבור יש עתיד הטעות היתה של 7 מנדטים, עבור שאר המפלגות הטעות היתה 2 מנדטים לכל היותר). הסקר היחיד שדייק יותר מתחזית בטל בשישים היה זה של ד"ר מינה צמח שפורסם בידיעות אחרונות. ממוצע הסקרים סיפק תחזית פחות טובה מזו של בטל בשישים, וגם מרוב הסקרים.

מה לגבי הגושים? כפי שניתן לראות בטבלה הבאה, שני סקרים הציגו תחזית טובה יותר מזו של בטל בשישים, אלו של ד"ר מינה צמח (אותו סקר מראש הטבלה לעיל) ושל פרופ' קמיל פוקס שפורסם בהארץ, שחזו 63 מנדטים בסה"כ לגוש הימין. במדידת השגיאה בגושים התייחסנו לגוש המנצח מול שאר הגושים יחד (כפי שעשינו כשפרסמנו את התפלגות השגיאות הצפויה של המודל).

תחזית בטל בשישים היתה טובה מממוצע הסקרים, אך רחוקה למדי מתוצאות האמת. 

כפי שביטאו כותרות העיתונים (ורחשי הרחוב), תוצאות הבחירות היוו הפתעה לאור תחזיות הסקרים ותחזית בטל בשישים. להלן תמצית המסקנות שלנו:

מה עשינו נכון?
1) תחזית המנדטים שלנו למפלגות היתה מדוייקת יותר מכל הסקרים (למעט מינה צמח) וגם מהממוצע שלהם.
2) המגמות קצרות-הטווח שזיהה מודל בטל בשישים בשבוע-שבועיים האחרונים של הבחירות היו בכיוון הנכון.
3) היטבנו לזהות מבעוד-מועד את חשיבות המבנה התלת-גושי בפוליטיקה הישראלית. הצבתה של מפלגת יש עתיד במרכז הוכיחה את עצמה וניכר היה שבעיני הציבור היא היחידה (מלבד קדימה) שאכן נתפסה כמפלגת מרכז בבחירות 2013.
4) רבים מהתרחישים שעלו והופיעו בתחזית בטל בשישים בשבוע האחרון שלפני הבחירות (כתוצאה מהמגמות החדשות ומהתקרבותן של המפלגות הקטנות, קדימה ועוצמה לישראל, לאחוז החסימה) התבררו בדיעבד כנכונים. ביניהם: התחזקותו של גוש המרכז לעומת הבית היהודי מימין (כך שניתן יהיה להרכיב קואליציה עם אחד על חשבון השני), האפשרות להקים ממשלת ימין-מרכז ללא חרדים, האפשרות שגוש הימין ייחלש מאוד (כמה שבועות לפני הבחירות תסריט זה נראה דמיוני ואילו בשבוע האחרון כבר קיבל עפ"י תחזית בטל בשישים סיכוי אמנם קטן, אך לא מבוטל) והסיכוי הגדול של מפלגת קדימה לעבור את אחוז החסימה.
5) זיהינו מבעוד מועד את מגמת ההיחלשות של המפלגות הגדולות לאורך מערכות הבחירות מאז קום המדינה כאשר טענו כי שלושים הוא הארבעים החדש

מה עשינו לא נכון?
1) טעינו קשות בתחזית המנדטים לגושים. המודל לא זיהה כמעט בכלל את סחף המנדטים מגוש הימין שמאלה (דרך גוש המרכז). 
2) המגמות קצרות-הטווח שהסתמנו לפני הבחירות היו חזקות בהרבה מכפי שניבא המודל שלנו.
3) במיוחד לא היטבנו לזהות עד כמה חזקות המגמות כאשר הן מופנות למרכז. כאן ניתן לראות שגיאה עקבית של המודל גם ב2006 ו2009. ב2006 תחזית בטל בשישים ניבאה 32 מנדטים לקדימה ו-4 לגמלאים (במקום 29 ו-7), ב2009 ניבאה 25 מנדטים לקדימה של ציפי לבני (במקום 29) והפעם 12 ליש עתיד (במקום 19).
4) הפרזנו מעט בחשיבותה של מגמת ההתחזקות של מפלגת עוצמה לישראל. המודל לא לקח בחשבון שקהל המצביעים הפוטנציאלי שלה, כמפלגה קיצונית, נמוך בהרבה משל מפלגת מרכז כגון קדימה. בדיעבד היה טמון כאן פוטנציאל גדול מאוד (שנובא במודל, אבל בחסר) לאובדן מנדטים משמעותי לגוש הימין, כפי שאכן אירע בסוף (עוצמה לישראל נותרה מתחת לאחוז החסימה עם כ-1.76% מקולות הבוחרים).  
5) המודל נגרר אחר מרבית הסקרים שלא חזו למפלגת הליכוד מפלה חזקה כפי שהיתה, למרות שחלק מהסקרים כן הצביעו על מגמה כזו ולמרות תקרת הזכוכית החדשה שזיהינו מבעוד מועד סביב שלושים המנדטים עבור המפלגה הגדולה בכנסת.
6) הערכת השגיאה שלנו היתה מעט אופטימית. תוצאות הבחירות היוו הפתעה שזכתה אצלנו להסתברות של כ-10% בלבד.

מסקנות
1) ישנו גוש מרכז יציב למדי בישראל. המפלגות קמות ונופלות, אך לאורך מערכות בחירות רבות מצביעי המרכז תמיד מופיעים (ומפתיעים) בסוף כשהם מצביעים למפלגות שמאיישות את המרכז. בטבלה שלהלן ניתן לראות את התבססותו של גוש המרכז בעשורים האחרונים.


2) שינוי כיוון פוליטי בישראל של שנות ה-2000 עובר דרך המרכז. סחף המנדטים מימין לשמאל או משמאל לימין עובר דרך המרכז (ולא ישירות מימין לשמאל או להיפך, כפי שהיה בעבר). המרכז מתחזק מצד אחד בזכות אלו שמקבלים רגליים קרות וברגע האמת לא עושים את המעבר המלא ומצד שני בזכות אלה שעולים על הרכבת ברגע האחרון.
3) השפעת המגמות קצרות-הטווח חזקה יותר בגוש המרכז לעומת גושי השמאל והימין.
4) המודל היה קרוב מדי לממוצע הסקרים (בעיקר בתחזית הגושים), גם בתחזיתו הסופית שכללה את המגמות קצרות-הטווח. המשקל שניתן להן לא היה גדול דיו.
5) המודל צריך להתחשב באחוז המתלבטים, למרות שרוב הסקרים המתפרסמים בישראל לא מספקים את האינפורמציה הדרושה לשם כך. בכל זאת, היו מספר סקרים שפרסמו מידע זה וניתן היה לשלבו במודל.
6) ההסתמכות על שתי מערכות הבחירות האחרונות (במקרה זה, 2006 ו-2009) בכיול ההנחות של המודל, אולי כפי שניתן היה לצפות מראש, אינה מספיקה. בעתיד צריך יהיה להשתמש בניסיון רב ככל האפשר ממערכות בחירות קודמות

האם ניתן להשתמש במסקנות הללו כדי לשפר את ניבוי הבחירות?
בגישה בייסיאנית כמו שלנו, בודאי. במסגרת ההנחות לגבי המשתנים החיצוניים הכלולות במודל הסטטיסטי שבבסיסה של תחזית בטל בשישים, ניתן ליישם את הלקחים שלעיל ולבחון האם הם משפרים את יכולת הניבוי. עד לבחירות הבאות, נוכל לעשות זאת רק בדיעבד. אולם התבוננות לאחור לעבר בחירות 2006 ו-2009 תוכל לשמש כקבוצת ביקורת עבור ניסוי שכזה.
הפתעות תמיד ייתכנו, אך אם הן נובעות מטעות שיטתית בניבוי, ניתן לספק לכך מענה. כפי שניתן לפצות על שגיאה שיטתית שנוהגת להופיע בכל הסקרים (למשל, הערכת-חסר של המפלגות החרדיות), ניתן גם לפצות על שגיאה שיטתית שמופיעה בכל מערכת בחירות, אם אנו מזהים כזו.

נשאלת השאלה: האם, בהסתכלות קדימה, לניבוי הבחירות בישראל יש עתיד?
תרתי משמע, המפתח לתשובה טמון בגוף השאלה: מפלגות גוש המרכז

הבה נראה מהי התחזית שהמודל שלנו היה מנפק לו היינו משנים את ההנחה לגבי המגמות קצרות-הטווח כך שיינתן משקל גבוה יותר למגמות המסתמנות לגבי מפלגות המרכז לעומת המפלגות המזוהות עם גושי השמאל והימין:



לחצו לתוצאות האמת מ-2013

תחזית (בדיעבד) זו מדוייקת בהרבה מהתחזית שסיפק המודל כ-4 ימים לבחירות (המופיעה עדיין בעמודה מימין). עבור גוש הימין הטעות כעת היא של מנדט בודד ועבור המפלגות הטעות המירבית היא 3 מנדטים, עבור יש עתיד. השגיאה לכל המפלגות יחד היא 12 מנדטים.
גם לעומת תחזית שכזו היתה נרשמת הפתעה מכיוון יש עתיד (שקיבלה לבסוף 19 מושבים בכנסת ה-19), אולם מאזן הכוחות הגושי והמפלגתי כפי שעולה מתחזית (בדיעבד) זו מדוייק בהרבה מהתחזית הסופית של בטל בשישים וכמובן מכל הסקרים שהתפרסמו עד 4 ימים לפני הבחירות.

איך נדע אם השינוי שלעיל הוא שינוי נכון באופן כללי? אולי זו סתם התאמה בדיעבד של המודל לתוצאות האמת? הדרך היחידה עבורנו לבדוק את זה היא לבדוק את הביצועים תחת אותן הנחות גם עבור הבחירות הקודמות:


לחצו לתוצאות האמת מ-2009


לחצו לתוצאות האמת מ-2006

ניתן לראות שישנו שיפור ניכר בתחזית (בדיעבד) גם עבור בחירות 2006 ו-2009, וכעת הטעות המקסימלית היא 2 מנדטים לכל המפלגות בשתי מערכות בחירות אלו(!). השיפור ניכר במיוחד עבור מפלגות המרכז: ב-2006 ההדרדרות של קדימה באה לידי ביטוי כעת במלואה, כמו גם הנסיקה של מפלגת הגמלאים. ב-2009, תחת ההנחות החדשות, "מעוף הציפורה" כבר אינו הפתעה ומפלגת קדימה מופיעה כמפלגה הגדולה בכנסת גם בתחזית (בדיעבד).

כמובן שאין לנו שום ערבות לכך שבבחירות הבאות לא תתרחש הפתעה מסוג שונה, כזו שלא עולה בקנה אחד עם המסקנות שרשמנו לעיל ושלא נראתה גם בבחירות 2006 ו-2009. במקרה כזה, תחזית בטל בשישים שוב תספק רק מענה חלקי בניבוי הבחירות. זה בהחלט ייתכן, אולם סביר להניח שככל שיצטבר ניסיון רב יותר, הניבוי ישתפר. כך קרה בארה"ב, שם כבר עשרות שנים מספר הסקרים המתפרסם מאפשר ניתוח שכזה, ולראייה במערכות הבחירות האחרונות הדיוק של מנבאי הבחירות הולך ועולה.
בכל מקרה, כפי שהוכחנו כבר בבחירות אלו, ניתוח-על של הסקרים בתוספת מספר הנחות לגבי המשתנים החיצוניים מביס את רוב הסקרים המופיעים לפני הבחירות (ואת הממוצע שלהם), גם אם אינו מנבא במדויק את תוצאות האמת.

לקראת הבחירות הבאות, לא נסתפק בכך. על-מנת לספק מענה טוב ככל האפשר ניעזר גם בתוצאות סקרים מבחירות ישנות יותר. בנוסף, נשתמש במידע רב יותר המופיע בסקרים (כגון מספר המתלבטים הכולל ואחוז המתלבטים מבין התומכים בכל מפלגה) ונבחן מחדש את ביצועי הסוקרים זה מול זה.
בנוסף, אם נוכל, בעזרת לחץ ציבורי ותמיכה מצד הכתבים הפוליטיים, ננסה להביא לכך שכמה שיותר מכוני סקרים יפרסמו את התוצאות המלאות של סקריהם, כפי שהחל לעשות פרופ' קמיל פוקס ממכון דיאלוג בסקריו בעיתון הארץ. מעבר לכך שהתמונה שתסופק לציבור הרחב תהיה אמינה יותר, זה עשוי להביא לשיפור בניתוח-העל של הסקרים.
לבסוף, נמשיך לבחון את שיטות הסקירה האלטרנטיביות, המבוססות על האינטרנט והרשתות החברתיות, ואם נתרשם שהן הבשילו, נשאף לכלול גם אותן במודל בצורה זו או אחרת.

אנו מקווים שנהנתם לקרוא את הבלוג בחודשיים האחרונים. עד לבחירות הבאות, תוכלו לשוב אלינו מדי פעם, או לעקוב אחרינו בטוויטר/פייסבוק. בכוונתנו להישאר עם היד על הדופק ולהמשיך ולנתח נושאים הקשורים למרחב הפוליטי והציבורי מנקודת מבט סטטיסטית.
לסיום, בכדי להדגים מה עוד ניתן לעשות (בהינתן הזמן הנדרש), נשמח להפנות לכמה ניתוחים סטטיסטיים מעניינים לגבי הבחירות שפורסמו במקומות אחרים וצדו את עינינו:
איזו עיר בישראל ייצגה הכי טוב את תוצאות האמת ב-2009? - חיים לוינסון, סקרן
מה היה קורה לו אחוז ההצבעה היה 100%? - אורי כץ, דעת מיעוט
ניתוח רב-ממדי של התפלגות המצביעים - הראל קיין, סדנא דארעא חד הוא


6 תגובות:

  1. אנונימי1/2/13 18:49

    קודם כל, תודה על הבלוג המצוין והניתוחים המרתקים. שאלת תם - אם הייתם מכניסים למודל מומנטום חזק למפלגות המרכז, האם לא היה פירוש הדבר שגם קדימה ועם שלם היו צריכות להתחזק?

    השבמחק
  2. הי,

    תודה על השאלה, זו הזדמנות להבהיר את הנקודה.

    התשובה היא לא. עבור קדימה ועם שלם לא נרשם שום מומנטום של התחזקות בסקרים לקראת יום הבחירות, בניגוד ליש עתיד (כפי שתיארנו בפוסטים האחרונים לפני הבחירות). זה לא שהכנסנו עכשיו תוספת שרירותית של מנדטים לכל מפלגות המרכז כדי להתאים את התוצאות לתוצאות האמת. מה שעשינו זה להגדיל את המשקל שניתן למגמת התחזקות (או היחלשות), אם יש כזו (במודל שלנו כבר היתה התייחסות למגמות קצרות הטווח, אבל כנראה שלא מספיקה) והתוצאה היא שהתחזית (בדיעבד) עבור 2006, 2009 ו-2013 משתפרת באופן ניכר.

    השבמחק
  3. תודה על העניין ועל הניסיון.
    התרעתי בזמן אמת שהתוצאות שלכם לא שונות מהותית מממוצע הסקרים.
    אגב, נראה לי שאם תורידו את שני הסקרים ההזויים של מאגר מוחות, ממוצע הסקרים אפילו יהיה טוב מהמודל שלכם (שאמור להתמודד טוב יותר מסתם ממוצע עם רעשים כאלה). לחילופין, אולי עדיף להשוות לחציון הסקרים במקום לממוצע.
    הבעייה עם מודלים בייסיאניים שכאלה, הוא שתמיד מתכוננים להילחם נגד מה שהיה ולא מה שיהיה.

    השבמחק
  4. אנונימי16/12/14 08:23

    מה עם תחזית לבחירות 2015?

    השבמחק
  5. אנונימי19/12/14 12:48

    מצטרף לבקשה...
    אמנם הזמן מועט, אבל יהיה מעניין לעקוב בזמן אמת אחרי הסקרים הרבים - לכל צירוף ופילוג של מפלגה...

    השבמחק
  6. אנונימי2/1/15 14:48

    חבל שאין ניתוחים ותחזיות לקראת הבחירות הקרובות.

    השבמחק