随着虚拟技术的发展和对内容制作高质量的追求，数字人频频出圈，XR（扩展现实）被频繁的应用在各种大型节目或电影广告等视频制作上，但由于实时直播对稳定性要求极高，而XR虚拟制作涉及众多复杂的软硬件，再加上数字人的参与增加了复杂度与风险，因此XR+数字人+实时+直播带货，一直很难相遇。本次数字人XR实时直播带货成功的背后都有哪些技术支撑呢？
首先要讲的是虚拟制作，它是将计算机中虚拟场景与摄像机实景视频进行实时合成，使人物与虚拟场景能够同步变化，从而输出高真实感合成画面的视频制作方式，XR虚拟制作必须以LED大屏为背景且有屏外扩展画面。2021年春晚节目《牛起来》便是虚拟制作的典型案例。
本次直播，将摄像机跟踪、数字人、动作捕捉、LED大屏、UE5实时渲染等前沿技术或工具，有机结合到了一起。其中凌云光自主研发的FZMotion光学运动捕捉系统部署在场地中，保障了现场“中之人”的动作捕捉与真实摄像机的跟踪，是连接虚拟与现实世界的桥梁。
为了让真实摄像机在运动的时候，LED大屏上的画面以及屏外拓展画面能够发生相应的准确变化，FZMotion快速精准的跟踪真实摄像机6自由度（6DoF, 6 degree of freedom）变化，结合镜头信息，传输至UE5虚拟摄像机实时渲染引擎。不同于机械跟踪或机身上安装相机（InSide-Out）的跟踪方式，当舞台周围多台真实摄像机同时需要被跟踪时，一套FZMotion系统便能搞定，无需根据被跟踪摄像机数量来增加跟踪系统数量。
为了让沐岚动起来，FZMotion实时捕捉 “中之人”的动作，并融合面部捕捉与手指捕捉设备，将“中之人”的表情、手指动作、身体动作传递给沐岚并对其进行驱动。
一套动捕，多种跟踪
观众看到的包含沐岚的图像，其实由多个画面组合而成。一是真实摄像机拍摄到的，包含LED屏上的表演者、基于真实摄像机视角渲染而成的LED屏上画面。二是数字人沐岚，她被以AR前景的方式叠加到了画面一上。当摄像机拍摄到LED屏外的时候，还需要渲染屏外拓展画面，同画面一和二拼接。多个画面虚实融合，呈现给观众。而这一切，都离不开FZMotion的摄像机跟踪与真人动作捕捉。
由于系统复杂、存在不稳定风险，XR制作与数字人未能在实时直播中普及应用，本次FZMotion持续100多分钟的稳定表现，为数字人XR直播及时注入了一针“强心剂”。同时，FZMotion “一套动捕，多种跟踪”的优势，能够实现多人、多摄像机以及道具的跟踪，更是XR虚拟制作的神兵利器与高性价比选择。
【彩蛋】
沐岚与FZMotion同框解密直播黑科技，下期再会~
2024-04-28
2023-03-03
2021-06-07
2020-07-23
2020-04-26
