הטוקן שאתה רואה – והטירוף שאתה לא
במסגרת קורס Prompt Engineering של Google,
נתקלתי בעובדה שעשתה לי סוויץ’ אמיתי בראש:
כל תשובה של מודל שפה היא רצף דינמי של חיזויי טוקנים.
טוקן אחרי טוקן. מילה אחרי מילה. ניחוש אחרי ניחוש.
איך זה באמת עובד?
- כל מילה, סימן פיסוק, רווח ואפילו תו בקוד –
נבחר אחד אחד ע”י חישוב סטטיסטי. - אין למודל תשובה מוכנה.
הוא פשוט מנבא את הטוקן הבא הכי סביר – שוב ושוב.
כל טוקן משנה את הקונטקסט
מה שהכנסת – משפיע על מה שייצא.
ומה שיצא – משפיע על מה שיבוא אחריו.
טוקן אחד יכול לשנות את כל כיוון התשובה.
וזה כבר לא רק עניין טכנולוגי – זה עניין אסטרטגי.
פרומפט טוב הוא כמו מהלך פתיחה בשחמט♟️
בתור מעריץ של גמביט המלכה, חשבתי על זה כך:
| דימוי שחמט | מקבילה בפרומפטינג |
|---|---|
| מהלך פתיחה מדויק | טוקן ראשון ממוקד |
| מיקום לא ברור | טוקן מעורפל |
| יתרון עמדתי | הבנה חדה של הקונטקסט |
| משחק בלי שליטה | חיזוי אקראי, פלט לא רלוונטי |
מאחורי הקלעים: מירוץ האנרגיה והשבבים⚡
✔ כל תשובה “פשוטה” = מאות חישובים על GPU
✔ כל שורת קוד = עשרות אלפי טרנזיסטורים בפעולה
✔ כל מיליארד שאילתות ביום = תחרות עולמית על:
➖אנרגיה
➖חומרה
➖זמן חישוב
➖עלויות
ומה זה אומר עלינו?
פעם הבאה שאתם כותבים פרומפט –
תבינו: אתם לא מפעילים מודל.
אתם מפעילים תזמורת של מיליוני חישובים בשנייה.
