# מונחי יסוד
[1] תיווי גרפי מתייחס למערכות של ייצוג חומר מוזיקלי באמצעות צורות, תבניות, סימנים וסמלים חזותיים, החורגים ממערכת התיווי הסטנדרטית, המייצגת את גובהי הצלילים ואורכיהם על גבי חמשה. בשונה מתיווי סטנדרטי, שביצועו מסתמך על קיומן של מוסכמות כלליות המתייחסות לאופן הפירוש של הסימנים, הביצוע של פרטיטורות גרפיות מצריך לימוד פרטני של מוסכמות הפירוש של התיווי לכל יצירה בפני עצמה.[2] כדאי לציין, שהמאמר מתייחס לפרטיטורה כמו לכל אמצעי המשמש להעברת הרעיונות המוזיקליים של הקומפוזיציה לנגנים ולהצגת החומר המוזיקלי שעל הנגנים לבצע, בכל סוג של תיווי.
אחד השימושים של תיווי גרפי הוא במוזיקה מבוססת פעולות (action-based music) בסוג כזה של יצירות, תנועה פיזית עומדת במהות הקומפוזיציה כאמצעי הביטוי האמנותי. הפעולות בפני עצמן מהוות את אבן הבניין של היצירה, החל ברעיונות האסתטיים, עבור בדרך התיווי וכלה באופן הביצוע.[3] מכיוון שהתיווי הסטנדרטי אינו מאפשר ביטוי של פעולות הנגינה עצמן, מלחינים של מוזיקה מבוססת פעולות פונים לתיווי גרפי. לדוגמה, היצירה Pression (1972) לצ'לו סולו מאת הלמוט לכנמן, שהיא מעמודי התווך של סגנון זה.
העידן הדיגיטלי איפשר התפתחויות נוספות בתיווי הגרפי, כגון פרטיטורות בעלות תיווי גרפי דינמי המוקרנות על מסך. בניגוד לתיווי שקבוע על נייר, הסמלים והסימנים בפרטיטורות דינמיות נעים, זזים, מופיעים ונעלמים בהנפשה. פרטיטורות כאלו מאפשרות, לדוגמה, לשלוט בקצב ההופעה של החומר המוזיקלי שנראה על המסך. כך יכול להיווצר נדבך נוסף בביטוי האמנותי של ביצוע היצירה, במרחב שבין המבצעים לפרטיטורה ולצליל, שנובע מן ההתמודדות של המבצעים עם השינוי של הפרטיטורה בזמן.[4] דוגמה נוספת, פרטיטורות דינמיות מאפשרות להשתמש באמצעים אקראיים בקומפוזיציה על מנת ליצור מוזיקה מקרית אמיתית, שאינה יכולה להתקיים על גבי פרטיטורות נייר.[5]
העידן הדיגיטלי איפשר התפתחויות נוספות בתיווי הגרפי, כגון פרטיטורות בעלות תיווי גרפי דינמי המוקרנות על מסך.
אם כן, אין הכרח שפרטיטורות מונפשות ייווצרו מראש עם תיווי ערוך בסרטון מוכן. סוג מסוים של פרטיטורות כאלו כולל היווצרות או השתנות של התיווי תוך כדי הביצוע המוזיקלי עצמו. תהליכים אלו של תיווי בזמן אמת עשויים לקרות על ידי החלטות של המחשב בלבד או על ידי תגובה של המחשב לפעולות הנגנים. גישה אחת לפרטיטורות דיגיטליות בזמן אמת, שבהן התיווי נוצר או משתנה תוך כדי ההופעה, מתמקדת בייצוג של פעולות הנגינה.
המאמר מתאר את הרעיונות ותהליך ההלחנה של היצירה Arcos, שכתבתי במסגרת שהות אמן בעמותת פונוס (Phonos) בברצלונה (2019‑2020), שם היא גם בוצעה לראשונה. הפרטיטורה של היצירה נוצרת בזמן אמת ומתבססת במישרין על נתוני פעולות נגינה בקשת. התנועות מונפשות על המסך כתיווי גרפי, המבוסס על חיקוי. גישה זו לתיווי, ייצוג סמלי ברמה נמוכה של תנועות נגינה, מאפשרת ביצוע שוטף ואינטואיטיבי בו במקום, ומקנה חיבור מיידי בין תיווי לפעולה.
# תיווי גרפי מבוסס פעולות בזמן אמת
ככלל, תיווי מבוסס פעולות נגינה מסתמך על יחסי הגומלין המושרשים באופן פיזי בין פעולה לצליל. במקרה של פרטיטורות מבוססות פעולות הנוצרות בזמן אמת, תיווי כזה צריך גם לאפשר ביצוע מוזיקלי בקריאה ראשונה ולהקל עליו, וכן לספק למבצעים מידע זמין ופשוט לביצוע בו במקום. גרהרד וינקלר, חלוץ בתחום התיווי בזמן אמת, כתב על החשיבות של מאפיינים אלו לפרקטיקה של פרטיטורות מסוג זה: "חלקיה השונים של הפרטיטורה צריכים להצטמצם לכמה אלמנטים שניתן ללמוד או 'להתאמן' עליהם מראש, ושניתן לתפוס אותם באופן מיידי במבט אחד תוך כדי הביצוע. מצד שני, על התיווי להיות מדויק מספיק כדי להימנע מכך שהמוזיקאים יעברו לאלתור".[6]
ככלל, תיווי מבוסס פעולות נגינה מסתמך על יחסי הגומלין המושרשים באופן פיזי בין פעולה לצליל.
נוסף על כך, וינקלר מדגיש את החשיבות של יצירת סביבה שבה מוזיקאים ומחשבים יכולים לתקשר ביניהם ולהשפיע זה על זה באופן מורכב ודו‐כיווני.[7] עוד הוא טוען, שהדרך היעילה ביותר ליצירה של פרטיטורות בזמן אמת היא לשלב תיווי גרפי עם תיווי סטנדרטי. לדוגמה, יצירתו KOMA (1996-1995) לרביעיית כלי קשת ואלקטרוניקה חיה אינטראקטיבית, מנוגנת עם פרטיטורה המשתנה בזמן אמת על פי ההחלטות של מנהיג הרביעייה, שנעשות תוך כדי ההופעה. התיווי משלב חמשה סטנדרטית לציון גובה הצליל, סמלים גרפיים לציון גליסנדי ומלל לציון שינויים מיקרוטונאליים.[8]
המלחין סת' שפר ממשיך את גישתו של וינקלר ביצירתו Terraformation (2017-2016) לוויולה ומחשב. הפרטיטורה של Terraformation משלבת חמשה לציון גובה ומשך של תווים, טבלאות איצבועים וצבעים המציינים את מיקום הקשת ומיקום היד השמאלית לאורך המיתרים.[9] שפר עיצב את הפרטיטורה בהסתמך על מודלים פיזיולוגים של פעולות נגינה, בכוונה לפשט את התהליך הקוגניטיבי של תרגום מסמל כתוב לפעולת נגינה.[10] האלגוריתם של הפרטיטורה מביא בחשבון את המודלים הפיזיולוגים האלה בתהליך הבחירה של התיווי המוצג בכל רגע. מכיוון שהבחירה מבוססת על פעולות נגינה, התיווי מבטיח להיות אידיומטי לכלי וקל לביצוע בקריאה ראשונה, ועם זאת עדיין לאפשר עומק ומגוון צלילי רחבים.[11] במבחן התוצאה, הגם שכוונת המלחין היא להקל על המאמץ הקוגניטיבי הכרוך בביצוע מוזיקלי, נראה שביצוע היצירה דווקא אינו אינטואיטיבי ודורש זמן רב. על פי התיאור של נגן הוויולה מייק קפון, שביצע את Terraformation, תהליך הביצוע כולל כמה שלבים - מאיסוף המידע מכל חלקי הפרטיטורה ועד הביצוע של פעולות הנגינה.[12]
לעומת זאת, תיווי גרפי בפני עצמו עשוי להעביר מידע מספיק לביצוע מוזיקלי, במיוחד אם הכוונה היא לציין פעולות נגינה פשוטות. המלחין ריאן רוס סמית' פיתח שפה ייחודית של תיווי גרפי מבוסס פעולות, שבמרכזה תנועות סיבוביות המציינות מתי להשמיע צליל (ולפעמים עד מתי להחזיק צליל). למרות הפשטות הנראית לעין, תיווי גרפי זה מאפשר מורכבות ריתמית רבה, מהוקטוס ועד פוליטמפורליות. סמית' גם משתמש ברעיונות של חיקוי בשביל תיווי מבוסס פעולות. לדוגמה, הפרטיטורות של יצירותיו משנת 2013 לכלי מיתר Study no. 15b ו-Study no. 15b.1, מראות את שחיף הכלים, עם סמנים המציינים היכן ללחוץ על המיתרים.
מעניינת במיוחד יצירה Study no. 50 (2015) מאת סמית', בנוגע להרכב כלי הקשה שבו כל חבר מנגן על שבעה קרשים. הפרטיטורה מראה בזמן אמת סמנים הנעים על קשתות בין שבע נקודות. כל נקודה מיועדת לקרש אחד, והסמנים מציינים מתי להקיש על הקרש. הפרטיטורה מוקרנת מהתקרה למטה, כך שכל נקודה ממוקמת במישרין על הקרש. ההקרנה של הפרטיטורה בדרך זו יוצרת קשר ישיר בין התיווי לכלי.[13] כך הנגנים יכולים לבצע מיד את הוראות התיווי, על ידי חיקוי התנועה שהם רואים על הכלי עצמו. עם זאת, התקשורת בין המחשב לנגן היא חד‐כיוונית. האלגוריתם של Study no. 50, כמו של יצירותיו של סמית' המוזכרות לעיל, יוצר את התיווי בזמן אמת באופן אוטומטי ורנדומלי, ללא כל השפעה חיצונית ובלי מבנה מסוים של הקומפוזיציה. סמית' שואף לזרימה קבועה ואין‐סופית של אירועים לא עקיבים.[14] הביצוע של יצירות אלו עשוי להיות מפרטיטורה שנוצרת תוך כדי ההופעה וגם מסרטון של פרטיטורה שנוצרה מראש.
הפרטיטורה של Arcos תוכננה עם תיווי גרפי אינטואיטיבי באמצעות הנפשה של פעולות נגינה על המסך, בהתבסס במישרין על נתוני תנועה של פעולות שהמבצעים יכולים לחקות. גישה זו מאפשרת הרחבה של כמות המידע שניתן להעביר לנגנים, בד בבד עם שמירה על תיווי פשוט שקל לבצעו בקריאה ראשונה. הפרטיטורה מספקת קשר ישיר ומיידי בין תיווי לפעולה, דרך ייצוג סמלי ברמה נמוכה של תנועות נגינה. נוסף על כך, פעולות המוזיקאים משפיעות על הפרטיטורה בזמן אמת. פעולות שונות עשויות לגרום לתוצאות שונות בפרטיטורה, כאינטראקציה דו‐כיוונית בין מבצע למחשב. נדבך נוסף לאינטראקציה זו הוא הכתיבה לכלי אלקטרוני, אך שימוש בכלי כזה דורש תשומת לב ייחודית לעיצוב הפרטיטורה בהקשר של מורפולוגיית צליל.
# על הקשר בין פעולה לצליל ואלקטרוניקה חיה
פרטיטורות מבוססות פעולות לכלים אקוסטיים מסתמכות על הקשר הפיזי המושרש בין פעולה לצליל. בתיווי של פעולות ישנה הנחת היסוד, שהמאפיינים הפיזיקליים של התנועה משפיעים במישרין על הצליל. דוגמה לקשר הזה בין פעולה לצליל עשויה להיות הפקה של צליל חזק ובהיר, שמקיף טווח רחב של תדרים בגיטרה. כדי לבצע זאת יש לפרוט בחוזקה על כל המיתרים בתנועה אחת, קרוב לגשר, באמצעות הציפורן או מפרט. לעומת זאת, כדי להפיק צליל רך וחם בתדר נמוך, יש לפרוט בעדינות על המיתר העבה ביותר באמצעות החלק הפנימי של האגודל קרוב לצוואר. אם כן, כפי שמתאר גארת' פיין, הפעולה הפיזית קובעת את העוצמה, גובה הצליל והמצלול של כל אירוע צלילי.[15] בכתביו, טרבור ווישארט קובע את המושג "מורפולוגיית צליל" כדי לתאר את הקשר בין פעולה לצליל או המבנה התנועתי של צליל, וכן כדי לתאר איך יחסי הגומלין האלה משתנים בזמן.[16]
ביצוע חי של מוזיקה אלקטרונית מציב בעיה ייחודית בנוגע למורפולוגיית צליל, מכיוון שהקשרים המסורתיים בין פעולה לצליל נקרעים תדיר.[17] קים קסקון אף מאפיין ביצוע חי במחשבים ניידים כצלילים שנוצרים במקום שאינו קיים, שיוצרים תחושה מזויפת של אותנטיות.[18] פתרון לבעיה זו מצוי בשליטה על הצליל באמצעות תנועה ואינטראקציה גופנית איתו, ובאמצעות שימוש בממשקים חדשים לביטוי מוזיקלי (NIME: new interfaces of musical expression). עם זאת, כדי לספק תחושה אותנטית מרבית בהופעה חיה של מוזיקה אלקטרונית, ממשקים כאלו חייבים להביא בחשבון מאפיינים של פעולות שהם הכרחיים להשפעה על צליל, כגון לחץ, מהירות ומיקום.[19]
Arcos נכתבה לכלי אקוסטי - צ'לו, ולכלי היברידי המשלב קשת של כינור עם מרכיב דיגיטלי של עיבוד צליל. הלחנה של יצירה מבוססת פעולות עם פרטיטורה בזמן אמת לכלי כזה, מעלה סוגיות הקשורות לא רק למורפולוגיה בביצוע חי של מוזיקה אלקטרונית, אלא גם לביטוי המורפולוגיה של הכלי עצמו בתיווי. הגישה של התבססות על נתוני פעולות ליצירת התיווי, המתוארת במאמר, מציעה דרך אפשרית להתמודדות עם סוגיות אלו.
# הלחנת היצירה
# רקע
הרעיון לפרטיטורה בזמן אמת שמבוססת על נתוני תנועה עלה לאחר הופעת הבכורה של יצירה קודמת שלי משנת 2018 bcn(621) לצ'לו, כלי הקשה ומחשב. יצירה זו מאוחדת על ידי פעולות נגינה בקשת, וכל הנגנים משתמשים בקשתות ומבצעים פעולות נגינה דומות. היה צורך ליצור ממשק מתאים לתפקיד של המחשב, שיעניק את אותן אפשרויות ביצוע ואת אותו הקשר בין פעולה לצליל כמו אצל הצ'לו וכלי ההקשה. לפיכך בניתי קשת כינור היברידית, בהתחשב ברעיונות של מורפולוגיית צליל בביצוע חי של אלקטרוניקה (ראו להלן, בנושא תזמור). המבנה של bcn(621) מעוצב באמצעות סדרות קבועות של פעולות נגינה, שמאורגנות בחטיבות זמן המשתנות באופן פרופורציונלי, כלומר, כאשר הפעולות חוזרות על עצמן, הזמן שבו יש לבצע כל פעולה משתנה בהתאמה לאורך הכללי של המקטע.
אף על פי שכקומפוזיציה bcn(621) הצליחה להשיג את מטרותיה הקונספטואליות, מבחינה פרקטית היא הייתה מסובכת בחזרות ובהופעה. הבעיות העיקריות היו העומס על המבצעים וההפקה הטכנית. לדוגמה, המעקב אחרי הקשת ההיברידית נעשה באופן חזותי, עם ממשק הכולל שעון, ספירת כניסות והוראות המופיעות אוטומטית על המסך. שילוב זה מציג מידע חזותי רב בבת אחת, ועלול לבלבל בהופעה חיה. גרוע מכך, נגני הכלים האקוסטיים היו צריכים לספור פעמות באופן תמידי כדי לבצע את פעולות הנגינה הדרושות במיקום ובזמן המדויקים. הצורך לספור בלא הרף העיק על הנגנים והסיט את תשומת ליבם מהביצוע המוזיקלי עצמו. הפתרון נמצא בתכנות מטרונום חזותי, גם מכיוון שהיה צורך להראות את מספרי התיבות. אף על פי שפתרון זה עוזר מאוד ומאפשר ביצוע נוח ורציף, הוא מצריך הפקה טכנית מורכבת יותר, לדוגמה, מסך מחשב נוסף. הפרטיטורה הגרפית של, Acros המבוססת נתונים ונוצרת בזמן אמת, מציעה פתרון לבעיות אלו. היא מצמצמת במידה רבה את העומס על המבצעים, וגם נדרשת בה הפקה טכנית פשוטה יותר. Arcos פותרת אפוא את הקשיים הפרקטיים תוך כדי חיזוק ופיתוח הרעיונות שנבחנים ביצירה bcn(621).
# רעיונות מפתח
בדומה ל‐*(621)bcn*, הרעיונות הכלליים של Arcos הם הקניית אחידות באמצעות תנועות נגינה בקשת ועיצוב המבנה באמצעות חטיבות זמן. Arcos גם מתרכזת ברעיון להקנות סביבת ביצוע טבעית ואידיומטית דרך ייצוג סמלי ברמה נמוכה של פעולות. רעיון זה, שנהגה בתגובה לבעיות שהתגלעו ב‐*(621)bcn*, מתבטא בתיווי שנוצר היישר מנתוני תנועות. ביסוס הפרטיטורה על נתוני תנועות גם מביא את הפעולות עצמן עוד יותר לקדמת הבמה, ואף מדגיש את הרעיון של פעולות הביצוע כאמצעי לאיחוד הקומפוזיציה. בדומה לכלל הפרטיטורות שנוצרות בזמן אמת, הביצוע נעשה בקריאה ראשונה. הרעיון המוצג במאמר, של תיווי המבוסס על נתוני תנועות, מציע גישה ישירה ואינטואיטיבית יותר לביצוע בקריאה ראשונה.
ההנחה הבסיסית היא שחיקוי הוא צורה ראשונית של תקשורת, שמעורר תגובה מיידית ואינסטינקטיבית. המאמר אינו שואף להקיף את המחקר הקוגניטיבי העוסק בחיקוי, אלא רק לציין בקצרה דוגמאות התומכות בהנחה זו. לדוגמה, לדידו של ריצ'רד מור, החיקוי ממלא תפקיד משמעותי ברכישת שפה אצל ילדים, והוא אבן יסוד ללמידה חברתית.[20] גם מחקר שערכו ג'וניה מוריטה ואחרים הראה שחיקוי מאפשר לפתח ביעילות מערכת תקשורת שיתופית.[21]
מכיוון שהפרטיטורה נוצרת במישרין מנתוני פעולות ביצוע, הנגנים יכולים לחקות את התיווי הגרפי שעל המסך בטבעיות ולבצע את ההוראות בדרך אינטואיטיבית ואידיומטית. הם יכולים לבצע את היצירה באופן שכבר מוטבע בפרקטיקה של הכלי, ללא צורך לפרש סמלים ברמה גבוהה. לעומת זאת, הפרטיטורה של (621)bcn משלבת תיווי סטנדרטי, סמלים גרפיים והוראות מילוליות. על אף שתיווי זה מראה ביעילות אילו תנועות לבצע, מתי ולכמה זמן, תהליך הלמידה של הפרטיטורה וביצועה דורש זמן ומאמץ קוגניטיבי רב. השימוש בפרטיטורה שנוצרת בזמן אמת אצל Arcos תורם לרעיון של ביצוע אינטואיטיבי גם על ידי הסרת הצורך לספור יחידות זמן והצורך לחשוב בכלל על ממד הזמן. פרטיטורה מסוג זה מאפשרת למבצעים להתרכז לחלוטין בנגינה.
התיווי הגרפי שנוצר במישרין מנתוני תנועות מביא את היצירה קרוב יותר למה שיוראי קויס מכנה "פרטיטורה מבוססת פעולות טהורה" (pure action-based score). לטעמו, פרטיטורה כזו מספקת גישה קלה ומיידית למוזיקה, ומשתמשת בסמלים ברורים, שניתן להבינם בקריאה ראשונה ללא צורך בהסברים.[22] השגה כלשהי בנוגע לתצורה של הפרטיטורה של Arcos גורסת, שהאלגוריתם בוחר איזו תנועה להציג ממאגר מוגבל של פעולות. מכיוון שרק הסדר אינו קבוע, אך החומר עצמו ידוע מראש, הביצוע אינו דורש קריאה ראשונה טהורה. סוג זה של פרטיטורות נקרא "פרמוטציה חיה" (live permutated) או "פרמוטציה בזמן אמת" (real-time permutative),[23] ומהדהד את הרעיון של וינקלר בנוגע לפרטיטורה בזמן אמת, שלפיו עדיין ניתן ללמוד אותה מראש.
גם ב‐Arcos נעשה שימוש בקטעים המחולקים ליחידות זמן, שחוזרים על עצמם באורכים שונים. כאשר קטע מסוים חוזר, השינוי באורך הכללי משנה את האורך של היחידות הפנימיות, בהתאמה. כאן היחסים נובעים מניתוח נתוני התנועות. כפי שכבר הזכרתי, סדר הפעולות אינו קבוע, בניגוד לסדרות של (621)bcn. מכיוון שהפעולות אינן מאורגנות בסדר קבוע, יחידות של שקט או חוסר פעולה הן בעלות חשיבות גדולה לתפיסת המבנה. רק יחידות אלו של חוסר פעולה מגיעות בסדר קבוע, ועל כן הן מקבלות את תפקידן כסמניות הצורה המוזיקלית.
הנחה נוספת, שאינה מבוססת במחקר, הייתה שגם המידע החזותי עשוי לתרום לתחושה של זמן כאינדיקציה למבנה היצירה. השילוב בין מידע שמיעתי לבין מידע חזותי עשוי לעזור לתפיסה של יחידות הזמן ושל היחסים ביניהן, וגם לתפוס יחסים מורכבים יותר (האלגוריתם עצמו מאפשר שימוש ביחסים לא‐שגרתיים, שקשה ליישם בפרטיטורת נייר). אבל מכיוון שבמהלך החזרות התברר שמרכיב הזמן חייב להיות פשוט, החלטתי לפשט את היחסים ולהקטין את מספר היחידות בכל קטע.
# תזמור
היצירה כתובה לצ'לו ולקשת כינור היברידית. מכיוון שהיא מתמקדת בפעולות נגינה בקשת, תפקיד הצ'לו עשוי ליד ימין בלבד. ההוראה היחידה ליד שמאל היא ללחוץ על כל המיתרים בעדינות, כך שהם אינם לחוצים לגמרי או סתומים לגמרי, על מנת להפיק צליל שניתן לתארו כ"חלול" או "אוורירי". דבר זה יכול להיעשות גם על ידי הנחת גומייה סביב החלק העליון של צוואר הכלי (ובלי לנגן כלל ביד שמאל).
מכיוון שהיא מתמקדת בפעולות נגינה בקשת, תפקיד הצ'לו עשוי ליד ימין בלבד.
קשת הכינור ההיברידית בנויה מחלק פיזי (קשת כינור) וחלק דיגיטלי (תוכנה בסביבת Max).[24] כפי שהזכרתי לעיל, מטרת הקשת ההיברידית היא לאפשר ביצוע חי של מוזיקה אלקטרונית עם רכיב תנועתי שמתמקד בפעולות נגינה בקשת. כוונתי היא לבטא את רעיון תנועות הקשת לא רק במובן של תנועה, אלא גם דרך הצליל עצמו. לכן הנגינה נעשית בקשת, והצליל של אותה הקשת עצמה מוגבר ומעובד. תנועת הקשת ומיקומה במרחב ממופים ליחידות עיבוד הצליל (תרשים 1).
קשת הכינור ההיברידית בנויה מחלק פיזי (קשת כינור) וחלק דיגיטלי (תוכנה בסביבת Max).
הכנת הקשת הייתה פשוטה למדי: הרכבתי מיקרופון מגע על בסיס הקשת, ודיודה פולטת אור (LED) על מקל הקשת. מיקרופון המגע מגביר את הוויברציות של הקשת, כלומר את הצליל של הקשת עצמה, והדיודה משמשת למעקב אחר מיקום הקשת ב‐Jitter,[25] (על פי שיטת jit. findbound).[26] האלגוריתם של Jitter עוקב אחר אור הדיודה כנקודה בחלל, ופולט מיקום דו‐ממדי של נקודה זו. מכיוון שהקלט מגיע ממצלמת רשת, יש צורך למצוא את המיקום המתאים בחלל ההופעה, ולוודא ששום אור אחר אינו מפריע. הצליל המוגבר של הקשת מעובד בזמן אמת על פי גילוי תנועה, בהירות האור ונתוני המיקום של האור. עיבוד הצליל כולל אפקט פלנג'ר[27] ומשנה גובה צליל ספקטרלי (spectral pitch shifter). הקשת ההיברידית מחוללת אפוא את הצליל והיא גם בקר השליטה התנועתי שלו, מצב שגורם לה להיות כלי בפני עצמו עם מורפולוגיה ברורה.
# איסוף הנתונים, עיבודם ומיפוים
צעד חשוב ביצירה של פרטיטורה מבוססת נתוני תנועה הוא, כמובן, קליטת המידע והפיכתו לשימושי. איסוף נתוני התנועה נעשה על ידי רישום מידע של פעולות נגינה בצ'לו מצמיד Myo,[28] ועל ידי הקלטת סרטונים של מעקב מיקום הקשת ההיברידית כפי שהם מופיעים בחלון ה‐Jitter בתוכנה.
הצ'לן לאו מורלו "שם יד", פשוטו כמשמעו, כדי לרשום את הנתונים של תנועות הנגינה בצ'לו. בחזרה ארוכה, מורלו ביצע מגוון פעולות כשהוא עונד את צמיד ה‐Myo על ידו הימנית. הפעולות כללו משיכת קשת, שפשוף הקשת לאורך המיתרים, תנועת קשת בעיגול (circular bowing), ארפג'יו, תיפוף באמצעות הקשת, הפעלת לחצים שונים על הקשת ונגינה על חלקים שונים של הכלי. הפלט של צמיד ה‐Myo של כל פעולה נשמר בקובץ מלל נפרד. כל קובץ כזה מכיל נתונים של מד תאוצה, גירוסקופ, קווטרניונים ואמ"ג של כל תנועה.[29] חשוב לציין, שהשימוש במכשיר ה‐Myo נעשה רק לצורך עבודת איסוף הנתונים ולא במהלך ההופעה החיה עצמה.
כדי שהמידע שנאסף יהיה זמין להנפשה כתיווי גרפי בפרטיטורה, עם קשת וירטואלית על המסך, השלב הבא היה לחשב את זוויות ההטיה, המהירות הזוויתית וזווית הסיבוב סביב המרכז המדומיין על סמך ערכי הגירוסקופ, מד התאוצה והקווטרניונים. לאחר מכן היה צורך לשלב את ערכי הגירוסקופ ומד התאוצה באמצעות מסנן משלים. על ידי חישובים אלו היה ניתן למפות את מיקום הקשת הווירטואלית על גבי גרף של שלושה צירים, כאשר הציר האופקי והציר האנכי מייצגים את המיקום הדו‐ממדי של הקשת על המסך, וציר העומק מייצג את גודל הקשת ויוצר רושם של תנועת הקשת לכיוון הקהל או הרחק ממנו. כדי לציין לחץ על הקשת, ערכי האמ"ג הופקו מקובצי מלל נפרדים, המכילים נתונים של רמות לחץ שונות (כבד, בינוני, קל ומשתנה בהדרגה). תרשים 2 מדגים את ההבדל בערכי האמ"ג בין לחץ קל על הקשת לבין לחץ כבד עליה.
כדי שהמידע שנאסף יהיה זמין להנפשה כתיווי גרפי בפרטיטורה, עם קשת וירטואלית על המסך, השלב הבא היה לחשב את זוויות ההטיה, המהירות הזוויתית וזווית הסיבוב סביב המרכז המדומיין על סמך ערכי הגירוסקופ, מד התאוצה והקווטרניונים.
לבסוף, המחשב מחליט איזו תנועה להציג, ובמקרים הרלוונטיים גם איזו רמת לחץ על הקשת להקצות לתנועה. כל פעולה מיוצגת על ידי כמה קבצים (בין שניים לארבעה) כדי לאפשר שוני, כמו בעצימות או במיקום הקשת. אם כן, כל תנועה עשויה להיווצר מחדש בהנפשה במגוון דרכים ולחצים על הקשת. ליצירה בחרתי להשתמש בשש פעולות: משיכת קשת, תנועת קשת בעיגול, שפשוף לאורך המיתרים, ארפג'יו/ טרמולו, תיפוף באמצעות הקשת (מכה אחת) וריקושט (להכות באמצעות הקשת ולתת לה לקפץ).
תהליך איסוף הנתונים של הקשת ההיברידית והשימוש בהם היה פשוט בהרבה, מכיוון שחלון ה‐Jitter מציג את הדיודה הפולטת אור שמורכבת על הקשת כנקודה בחלל. הקלטתי סרטונים של כל פעולות הנגינה היישר מתוכנת ה‐Max ,כפי שמראה תרשים 3.
בהתאמה לכל סרטון, תכנתתי הנפשה שמציגה את תנועות הנקודה בחלל, שהיא תנועת הקשת. בניגוד לתפקיד הצ'לו, שמציג את הפעולות כפי שהן, תפקיד הקשת ההיברידית הוא להראות את הפעולות כפי שהן מופיעות ב‐Max, מזווית הראייה של הנגן. כשהמחשב מחליט איזו תנועה להציג, ההנפשה המתאימה נוצרת בזמן אמת. ההנפשה של כל תנועה כוללת מאפיינים אקראיים כגון כיוון או מהירות, למען השוני והעניין. גם כאן בחרתי שש פעולות, מקצתן דומות לפעולות הצ'לו: משיכת קשת, תנועת קשת בעיגול, תיפוף באמצעות הקשת, תיפוף על הקשת, מעיכת הקשת בין האצבעות ופריטת שערות הקשת.
בהתאמה לכל סרטון, תכנתתי הנפשה שמציגה את תנועות הנקודה בחלל, שהיא תנועת הקשת.
# עיצוב הפרטיטורה והמערכת
הפרטיטורה פועלת בשתי רמות: רמת השליטה, הקיימת ב‐Max, ורמת התצוגה הגרפית, הקיימת בסביבת התכנות Processing.[30] התוכנה שנבנתה ב‐Processing מקבלת הוראות מ‐Max (דרך פרוטוקול Open Sound Control)[31] בנוגע לאיזו תנועה להציג ומתי. השליטה על "מתי להציג תנועות?" היא על פי מקטעים קבועים מראש, והשליטה על "איזו תנועה להציג?" נקבעת על פי פעולות הנגינה של הקשת ההיברידית. על כן, המערכת כוללת מודול זיהוי פעולות נגינה שמשתמש במתארי צליל (audio descriptors).[32] ברגע שפעולה מזוהה, שרשרת מרקוב מהדרג הראשון קובעת איזו תנועה להציג ביחידת הזמן הנתונה. התוכנה מקבלת את התנועה הנוכחית של הקשת ההיברידית, ועל פיה היא מחליטה על התנועה הבאה שתוצג לשני הכלים. בכל פעולת נגינה שמזוהה על ידי התוכנה ישנן הסתברויות שונות בנוגע לזהות התנועה הבאה שתוצג. ההסתברויות האלה נקבעו לפי נוחות מצבי הנגינה וקלות המעבר ביניהם. לדוגמה, אם מזוהה הפעולה של משיכת קשת, הסיכוי לחזרה על אותה התנועה הוא 5%, הסיכוי לתיפוף באמצעות הקשת הוא 30%, 20% לתנועת עיגול, 15% למעיכת הקשת, 15% לתיפוף על הקשת ו‐15%לפריטת ׂשער הקשת. אם הפעולה המזוהה היא תנועת עיגול, הסיכוי לחזרה על אותה התנועה הוא 5%, 15% למשיכת קשת, 30% לתיפוף עם הקשת, 15% למעיכת הקשת, 10% לתיפוף על הקשת ו‐25% לפריטת השיער. לבסוף התוצאה נשלחת ל‐Processing בנקודות קבועות בזמן, על פי המקטעים של מבנה היצירה.
תוכנת ה‐Processing כוללת מודלים שונים לכל תנועה. כאשר מגיעה הוראה מ‐Max, המודל הקשור אליה מופעל, והתנועה המתאימה מוצגת על המסך. הייצוג הגרפי של התנועות נוצר בזמן אמת. במקרה של תפקיד הצ'לו, נתוני התנועות מקובצי המלל גם הם נשלחים מ‐Max בזמן אמת. רישום 4 מראה את התהליך הכללי של אלגוריתם הפרטיטורה.
המסך עצמו מחולק לשני חצאים, כאשר תפקיד הקשת ההיברידית הוא בצד ימין ותפקיד הצ'לו בצד שמאל (תרשים 5). התיווי הגרפי, כתנועות שהנגנים צריכים לחקות, נראה שונה לכל כלי. תפקיד הצ'לו מציג את קדמת הכלי, כולל החלק התחתון של השחיף (fingerboard) והחלק העליון של המשחל (tailpiece). קשת וירטואלית על המסך מּונעת על ידי נתוני הפעולות, והיא מציינת מה לנגן או, נכון יותר, איך לנגן. לחץ על הקשת מיוצג על ידי צבע הקשת הווירטואלית: ככל שהצבע כהה יותר, כך הלחץ כבד יותר (תרשים 6). תפקיד הקשת ההיברידית מראה נקודה לבנה, המייצגת את הדיודה המורכבת על הקשת. תנועות הנקודה מציינות את פעולות הנגינה שיש לבצע. הנקודה מעובדת בתוספת אפקט דיליי חזותי ברמות שונות, תלוי בתנועה, לשם האסתטיקה (רישום 7). החלטתי גם לשנות את נקודת המבט של הנפשת הפעולה של תנועת עיגול, ולהציג את העיגול ממבט עילי במקום במבט מהצד (נקודת המבט האמיתית). השינוי נעשה על מנת להראות פעולה זו ברור יותר, שכן המבט הצִדי עלול לבלבל. נוסף על כך, המבט העילי מאפשר וריאציות רבות יותר לתנועה, והוא עדיף על המבט הצִדי מבחינה אסתטית (תרשים 8).
המסך עצמו מחולק לשני חצאים, כאשר תפקיד הקשת ההיברידית הוא בצד ימין ותפקיד הצ'לו בצד שמאל (תרשים 5).
# דיון
# ממצאים עיקריים
היצירה Arcos בוצעה על ידי הצ'לנית אריקה וויס ואנוכי על הקשת ההיברידית. את (621)bcn ביצענו שנינו יחד בעבר, והיא גם ביצעה את Study no. 15b מאת סמית' (המוזכרת בחלק המבוא); לכן שתי היצירות האלה משמשות להשוואה. החזרות על Arcos וההופעה החיה הראו שהפרטיטורה הנוצרת בזמן אמת אכן יעילה להעברת הרעיונות הקומפוזיטוריים והקונספטואליים, שהיו מטרת היצירה. התיווי הגרפי מבוסס הנתונים של היצירה הוכח כשימושי ביותר לציון של תנועות מורכבות, כולל וריאציות של כל תנועה. שנינו מצאנו שביצוע הפרטיטורה הגרפית הנוצרת מנתוני תנועות היה ברור, אינטואיטיבי ושוטף הרבה יותר מביצוע הפרטיטורה של (621)bcn .וויס גם ציינה, שסוג זה של ייצוג סמלי ברמה נמוכה של תנועות בתיווי גרפי הוא טבעי יותר לכלי, ושהזמן והמאמץ שנדרשו לה כדי ללמוד, להתאמן ולבצע את Arcos היו פחותים לעומת הזמן והמאמץ שנדרשו ל-Study no. 15b. מנקודת מבטי האישית, כנגן הקשת ההיברידית, שמתי לב שכאשר התיווי נובע היישר ממורפולוגיית הצליל של הכלי נוצרת מערכת בעלת קשרים הדוקים בין פעולה, צליל ותיווי. לבסוף, הממצא החשוב ביותר - המוזיקה עצמה הייתה מוצלחת ומספקת מבחינה אמנותית, בהתחשב בצלילי הכלים בפרט וגם ביחסים הצליליים ביניהם (שנובעים מיחסי התנועות).
# מגבלות הקומפוזיציה ועבודה עתידית
כפי שכבר הזכרתי, עוד בחזרה הראשונה התברר שמבנה היצירה אינו מוגדר היטב. כדי לפתור זאת צמצמתי את מספר היחידות בכל מקטע והארכתי אותן (כולל את יחידות השקט). בעיה נוספת, שהעלתה וויס, היא הקושי להבחין בין שתי תנועות התיפוף בתפקיד הצ'לו, מכה אחת וריקושט. סוגיה זו נפתרה בשיח על ההבדלים בין התנועות בפרטיטורה וכיצד להבחין בהם. עם זאת, ניכר צורך לחדד את התיווי של פעולות אלו כך שהוא יהיה חד‐משמעי במבט ראשון. מודול זיהוי פעולות הנגינה דורש גם הוא שיפור, כדי שיהיה יציב ומדויק יותר. כרגע, דיוק הזיהוי משתנה לפי מיקום, סביבה ועוצמת הקלט. עבור ההופעה החיה יישמתי מנגנון אל‐כשל, שמניע את פעולת שרשרת מרקוב במקרה שאלגוריתם זיהוי הפעולות נכשל. עדיין נדרש למצוא פתרון קבע.
מנקודת המבט של הקהל, בזמן שניתן להבין בקלות את התיווי של הצ'לו ואת יחסו אל פעולות הביצוע, התיווי של הקשת ההיברידית סתום אם לא יודעים איך הממשק של כלי זה עובד וכיצד הוא נראה. מכיוון שהקשת משתמשת בדיודה פולטת אור כדי לעקוב אחר תנועותיה, הביצוע מוכרח להיעשות בחושך וקרוב למחשב, דבר שמקשה על הקהל לראות את פעולות הביצוע ואת מסך המחשב (רק תזוזות הדיודה נראות). פתרון אפשרי לכך עשוי להיות שימוש בדיודת אינפרא אדום (infrared) בשילוב חיישן מתאים. בדרך זו ההופעה יכולה להתבצע בסביבה מוארת ורחוקה יותר מן המסך, כך שהקהל יוכל לראות הן את פעולות הביצוע והן את הממשק.
# מסקנות כלליות
על אף שהמאמר מתמקד ביצירה ספציפית, הוא מתווה למלחינים אחרים דרך אפשרית לתיווי בזמן אמת ולממשקים חדשים לביטוי מוזיקלי, באמצעות השימוש בנתוני הכלי עצמו. נוסף על כך, הגישה לתיווי פעולות נגינה שמיושמת ב‐Arcos עשויה באופן כללי להיות עניינית לפרטיטורות בזמן אמת, ולהציע את הרעיון של ביצוע דרך חיקוי כאפשרות כיוון ליצירות עתידיות. מחקר נוסף על יצירות המשתמשות באמצעי תיווי דומים אף עשוי לתרום להבנה הכללית של תהליך הביצוע של פרטיטורות בזמן אמת, שנעשה בקריאה ראשונה.
# תודות
ברצוני להודות לדוויד דלמצו ולרפאל רמירז על עזרתם באיסוף הנתונים ועיבודם; ללאו מורלו על עבודת רישום פעולות הביצוע בצ'לו; לניר ביטון על הייעוץ בעיצוב הפרטיטורה; לאריקה וויס על ביצוע היצירה ושיתוף מחשבותיה.
ברצוני להודות לדוויד דלמצו ולרפאל רמירז על עזרתם באיסוף הנתונים ועיבודם; ללאו מורלו על עבודת רישום פעולות הביצוע בצ'לו; לניר ביטון על הייעוץ בעיצוב הפרטיטורה; לאריקה וויס על ביצוע היצירה ושיתוף מחשבותיה.
# הערות
[1] מאמר בשפה האנגלית על היצירה נכתב ופורסם במסגרת הכנס הבין‐לאומי בנושא כלים חדשים לתיווי וייצוג מוזיקה (International Conference on New Tools for Music Notation and Representation) בשנת 2020. מכיוון שהמאמר הקודם פורסם לפני ביצוע הבכורה, הוא אינו כולל נושאים הקשורים לחוויית החזרות וביצוע היצירה, הנדונים במאמר זה. כל הזכויות למאמר שמורות למחבר, וניתן להשתמש בחומר באופן בלתי מוגבל, כולל הפצה והעתקה, בכל מדיום, אך יש לציין את המקור: Gil Dori, "Using Gesture Data to Generate Real‑Time Graphic Notation: A Case Study". Proceedings of the International Conference on New Tools for Music Notation and RepresentationHamburg University for Music and Theater, 2020
[2] Cat Hope, "The Future is Graphic: Animated Notation for Contemporary Practice", Organised Sound, 25, 2020
[3] Jura Kojs, "Notating Action‑Based Music'', Leonardo Music Journal 21, 2011
[4] Hope, "The Future is Graphic"
[5] מוזיקה מקרית (אליאטורית) משלבת אקראיות בקומפוזיציה. מקצת היצירות בסגנון זה אף פתוחות להחלטות של המבצעים, כך שהיצירה יכולה להשתנות בין הופעות שונות. עוד על סוג זה של יצירות ניתן לקרוא כאן: Arnold Whittall, "Aleatory Music", in: Alison Latham (ed.), The Oxford Companion to Music, Oxford University Press, 2011
[6] Gerhard E. Winkler, "The Real‑Time Score: A Missing Link in Computer‑Music Performance", Proceedings of the Sound and Music Computing Conference Paris, 2004
[7] שם: 1.
[8] שם: 3-2.
[9] Seth Shafer, "Performer Action Modeling in Real‑Time Notation", Proceedings of the International Conference on New Tools for Music Notation and Representation Universidade da Coruña, 2017
[10] שם: 3.
[11] שם: 6.
[12] Seth Shafer, "Terraformation", Proceedings of the International Conference on New Tools for Music Notation and Representation Universidade da Coruña, 2017
[13] Ryan Ross Smith, "[Study no. 50][Notational Becoming][Speculations]", Proceedings of the International Conference on New Tools for Music Notation and Representation Cambridge, 2016
[14] שם: 104.
[15] Garth Paine, "Gesture and Morphology in Laptop Music Performance", in: Roger Dean (ed.), The Oxford Handbook of Computer Music and Digital Sound Culture, Oxford University Press, 2009
[16] Trevor Wishart, On Sonic Art, Routledge, 1996
[17] Denis Smalley, "Spectromorphology: Explaining Sound‑Shapes", Organised Sound 2, 1997
[18] Kim Cascone, "Laptop Music: Counterfeiting Aura in the Age of Infinite Reproduction", Parachute, 2002
[19] Garth Paine, "Towards Unified Design Guidelines for New Interfaces for Musical Expression", Organised Sound 14, 2009
[20] Moore, Richard, "Imitation and Conventional Communication". Biology & Philosophy, 28, 2013
[21] Junya Morita, et al., "The Role of Imitation in Generating a Shared Communication System", Proceedings of the Annual Meeting of the Cognitive Science Society, 2012
[22] ''Kojs, "Notating Action‑Based Music
[23] Vickery, Lindsay, "The Evolution of Notational Innovations from the Mobile Score to the Screen Score", Organised Sound 17, 2012
[24] Max היא סביבת תכנות המיועדת לעיבוד חי של צליל.
[25] המונח Jitter מתייחס לכלים של עיבוד וידאו וגרפיקה ב‐Max.
[26] השיטה מתייחסת למעקב אחר צבע בסרטון. ניתן לקרוא על כך בשיעור הדרכה מספר 25 של:Jitter docs.cycling74.com
[27] אפקט פלנג'ר (flanger) נוצר על ידי נגינה של שני אותות זהים בו בזמן, כאשר אות אחד מנוגן לאחר האות הקודם לו בזמן קצר מאוד ומשתנה. ניתן לתאר את התוצאה כסחיפה של הצליל או כדומה לצליל של מטוס סילון, שנשמע בו בזמן גם מן האוויר וגם מן ההחזרים של הקרקע. עוד על האפקט הזה ניתן לקרוא כאן: Jolius O. Smith, "Flanging", in: Physical Audio Signal Processing, stanford.edu ,Stanford University, 2010
[28] צמיד Myo הוא מכשיר מדידת אינרציה לביש, בעל שמונה חיישני תנועה. המכשיר מספק מידע על תנועה באמצעות גירוסקופ, מד תאוצה ומגנומטר וגם על פעילות השרירים באמצעות רשמת שריר חשמלית (אמ"ג, אלקטרומיוגרפיה).
[29] רישום הנתונים נעשה בתוכנת Max, באמצעות ספריית Myo for Max מאת ג'ול פרנסויה: github.com
[30] Processing היא סביבת תכנות המיועדת לאמנות חזותית.
[31] Open Sound Control הוא פרוטוקול לתקשורת בין התקני מולטימדיה. התוכנה משתמשת בספריית oscP5 עבור Processing מאת אנדראס שלגל: https://sojamo.de
[32] באמצעות ספריית Zsa.Descriptors ל-Max מאת מיכאל מאלט: www.e--j.com
