2月4日晚舉行的北京2022年冬奧會開幕式上,鋪滿全場的LED地面屏幕顯示交互技術震撼全場。
在《雪花》環節,小演員們雙手舉著“和平鴿”,隨著腳步的移動,腳下“盛開”一朵朵晶瑩潔白的雪花。
北京電影學院聲音學院院長童雷介紹,在超過一萬平方米的場地上,對將近700個演員,進行實時捕捉和實時效果的跟蹤和呈現,在大規模文藝演出的開閉幕式場合采用這樣的嘗試,還是世界首創。
實時交互創意來源于冰面倒影
新京報:地面屏幕如何實現“如影隨形”效果?
童雷:地面LED特效“如影隨形”的秘訣包含兩部分技術。
首先,基于人工智能的運動分析實時捕捉技術,通過視頻攝像機識別出演員,將信息傳遞給下一系統。第二個系統則由北京電影學院負責,通過實時交互引擎獲取信息,按照導演的美術創意需求,生成需要的效果,無延時地呈現在演員腳下。在觀眾看來就實現了腳下特效“如影隨形”的效果。
新京報:這一創意的來源是什么?
童雷:半年前,張藝謀導演有個初步的想法:能不能在地屏上實現冰面倒影的效果?我們接到需求后做了很多論證研究,從冰面倒影的物理性出發初步實現這一效果,但那時的算法比較初級,有一定延時,能承載的演員數量也有限。
在導演創意過程中,我們發現可能還有更多效果需求,于是做出了流光溢彩、極光、推散雪花、推散云霧等十幾種效果,把方案給導演,由他根據整體設計選擇相應效果。這個過程中有非常多的磨合,不僅是科技的考量,而且是將科技作為手段展現藝術的形式。
這樣的效果不是靠先期制作或精準排練就能實現的,完全依賴技術手段配合。演員可以任意自由發揮,發揮過程會影響顯示效果,顯示效果也會助推演員表演,這就是我們所說的互動。這種互動恰恰體現了自然浪漫的情調,也非常符合導演的創意初衷。
無數次完善修正盡可能滿足創意需求
新京報:實時捕捉和交互顯示的技術難點在哪?
童雷:地面屏幕面積大、承載演員數量多、要求無延時的實時捕捉交互,這些技術背后本身就需要非常強大的算力和引擎支撐。
這些技術在各自領域可能已經運用非常成熟,例如捕捉技術用在運動員動作捕捉分析、實時渲染在大型游戲里用得比較多,而我們這次的創意恰恰是把兩個技術完美結合在一起,形成從捕捉到識別到呈現渲染一條龍的鏈路,保證效果完美呈現。
我們也希望通過這個技術,實現不同于傳統的美術創意呈現,體現交互特性。目前的呈現經歷了幾個月時間的完善修正。比如為了適合轉播的需求,地面屏幕雪花的顏色,都經歷了好幾個版本的調整,而這種調整在過程中發生了無數次。
新京報:張藝謀導演對創意實現的要求非常高,其間你們經歷了怎樣的磨合?
童雷:藝術創作領域的主觀性非常強,永遠沒有完美一說。我們只能盡可能發揮想象,把好的創意盡可能多地交給導演。這個過程中反饋修改意見是必然的,恰恰是不斷交流修改才能達到臻于完美的效果。
每次彩排結束后,導演會針對每個節目提建議。我們最開心的時刻就是在會上沒有針對我們負責的環節提出建議和問題。我們所追求的是盡可能地實現導演的創意,盡可能地打動觀眾。
參與兩屆奧運會,曾負責2008年焰火燃放
新京報:你也參與了2008年北京夏季奧運會開幕式,那時負責什么工作?兩屆奧運會感受有何不同?
童雷:2008年我負責的是奧運會開幕式的煙火控制,跟蔡國強配合。
2008年“鳥巢”內外焰火燃放由五六家單位聯合完成,每家單位控制方式和控制指令各不相同,這就需要一個總控中心協調各家,跟場內演出、音樂和時間點準確配合,將誤差控制在一兩幀之內。按照這一需求,那年我做了一套煙火控制系統,協調各家焰火系統精準燃放。
2008年,我還是個年輕小伙,一晃14年過去了,技術和表達方式都在進步。這次冬奧會跟2008年夏季奧運會在形式和風格上有很大不同,對現場技術的需求,也是要求越來越高,在現有基礎上,我們也要做得比2008年更好。
新京報:北京電影學院很多師生參與到冬奧會中,他們主要在哪些崗位?
童雷:近200位學生擔任引導員、開閉幕式演員;我所在的實時特效團隊有8位師生;場內還有一支負責開閉幕式紀錄片拍攝團隊,大概有八九個人也來自電影學院;媒體中心有做技術支持保障的師生。
我們所追求的是盡可能地實現導演的創意,盡可能地打動觀眾。
——北京電影學院聲音學院院長童雷
關鍵詞: