虚拟演播室系统(The Virtual Studio System,简称VSS)

虚拟演播室系统应用摄像机跟踪技术,获得真实摄像机数据,并与计算机生成的背景结合在一起,背景成像依据的是真实的摄像机拍摄所得到的镜头参数,因而和演员的三维透视关系完全一致,避免了不真实、不自然的感觉。由于背景大多是由计算机生成的,可以迅速变化,这使得丰富多彩的演播室场景设计可以用非常经济的手段来实现,由于它本身所具有的无穷魅力以及其不可低估的发展前景,迄今已被越来越多的节目制作及有关人员所关注。

虚拟演播室是一种全新的电视节目制作工具,虚拟演播室技术包括摄像机跟踪技术、计算机虚拟场景设计、色键技术、灯光技术等。虚拟演播室技术是在传统色键抠像技术的基础上,充分利用了计算机三维图形技术和视频合成技术,根据摄像机的位置与参数,使三维虚拟场景的透视关系与前景保持一致,经过色键合成后,使得前景中的主持人看起来完全浸尽于计算机所产生的三维虚拟场景中,而且能在其中运动,从而创造出逼真的、立体感很强的电视演播室效果。

采用虚拟演播室技术,可以制作出任何想象中的布景和道具。无论是静态的,还是动态的,无论是现实存在的,还是虚拟的。这只依赖于设计者的想象力和三维软件设计者的水平。许多真实演播室无法实现的效果,对于虚拟演播室来说,确是"小菜一碟"。例如,在演播室内搭建摩天大厦,演员在月球进行"实况"转播,演播室里刮起了龙卷风等等。有的电视台已经起用了虚拟主持人,并且成为了明星,他们不仅可以配合真人的主持人主持节目,而且还可以单独主持节目。这些都是虚拟演播室创造性的体现。

虚拟演播室的产生,给视频节目制作、电视广播带来了一场革命。

三维虚拟演播室的跟踪技术有4种方式可以实现,网格跟踪技术、传感器跟踪技术、红外跟踪技术、超声波跟踪技术,其基本原理都是采用图形或者机械的方法,获得摄像机的参数,包括摄像机的X、Y、Z、(位置参数)Pan、Tilt、(云台参数)Zoom、Focus(镜头参数) 由于每一帧虚拟背景只有20ms的绘制时间,所以要求图形工作站实时渲染能力非常强大,对摄像机的运动没有更多的限制,一般适合专业电视台,对节目制作要求较高的用户使用。

另一种方法是预生成三维背景,即要首先制作好背景的三维模型,然后预先定义好摄像机的运动和参数设置,根据这些数据生成每台虚拟摄像机的视图画面,最后运用色健将前景和相应的虚拟背景结合起来。这种方式可以生成比较真实的虚拟背景,对图形工作站实时渲染能力要求不高,摄像机只可以切换机位(摄像机机位必须事先与背景调整好比例和透视关系),不可以做其他的运动,这样的虚拟演播室适合学校以及电教中心,投资较小,要求不高的用户使用。

1978年, Eugene L.提出了"电子布景"(Electro Studio Setting)的概念,指出未来的节目制作,可以在只有演员和摄像机的空演播室内完成,其余布景和道具都由电子系统产生。随着计算机技术与虚拟现实(Virtual Reality)技术的发展,在 1992年以后虚拟演播室技术真正走向了实用。1993年,以色列ORAD推出了世界上第一套真三维虚拟演播室,此后另外一家以色列厂商RTSet也推出了基于传感器跟踪技术的真三维虚拟演播室,此后的10年中,虚拟演播室厂商陆续推出自己的产品,西班牙的BrainStorm,BBC英国广播电视公司的虚拟演播室,法国PSY等等,以及2000年之后中国大洋、奥维迅、新奥特也相继推出自己的虚拟演播室产品,虚拟演播室要求实时图形图像渲染技术很高,并要求配合方便,使用便捷的虚拟演播室跟踪技术,经过市场的淘汰、演变,所剩余继续发展虚拟技术的厂商逐渐减少,2008年之后,一些无跟踪的虚拟演播室技术开始推向专业市场,被称为无轨跟踪虚拟演播室,此类虚拟演播室没有摄像机跟踪技术,无法获得真实摄像机的运动参数,图形工作站也无需按照摄像机的运动实时渲染25帧/秒的画面,因此此种方式的虚拟演播室适合学校、电教室等等非专业用户的使用。

作为数字演播室发展新技术,虚拟演播室技术已成为了当今数字电视演播室新技术的热点。在1993年IBC展览会上虚拟演播室技术首次亮像,并在各种电视转播中得以实现。迄今,中央电视台、各省级电视台、教育行业、企业等大量采用了此技术,该技术的发展促进未来电视行业低碳、减排发展。

1、虚拟背景渲染主机:

完成虚拟背景的渲染输出工作,同时采集传感跟踪系统摄像机的运动参数,最终的渲染输出相应的包括背景信号和作为前景遮挡的键信号。

控制摄像机切换模块,当虚拟背景进行不同视角背景切换的时候,同时发出控制信号给摄像机切换模块,切换至相应视角的前景摄像机。

控制色键,通过计算机软件调整和保存色键的状态各项参数。

2、摄像机传感跟踪系统:采用机械光电传感跟踪方式,采集摄像机平摇、俯仰、镜头推拉六个方位的动作信息。

3、色键:完成摄像机前景和虚拟背景的实时合成输出。

4、切换器:完成摄像机前景信号的切换工作,受控于渲染主机串口信号。

5、同步信号分配器:完成外来同步信号的分配,分别将同步信号分配给背景渲染引擎、色键、切换模块以及预留给用户摄像机的三个同步信号输出口。

6、延时器:对前景信号进行延时一帧的处理,使得前景信号和渲染主机生成的背景信号同步。

虚拟演播室系统是近年来随着计算机技术飞速发展和色键技术不断改进而出现的一种新的电视节目制作系统。在虚拟演播室系统中,摄像机的工作状态信息传送给图形工作站,计算机依此得到前景物体与摄像机之间的距离和相对位置,从而计算出虚拟场景最适宜的大小、位置,并按要求计算生成虚拟场景的三维模型。现场视频采用色键原理,将主持人或演员置身于蓝色背景幕布前表演,然后利用切换台上的色键功能将主持人从蓝色背景中分离出来,实时地与计算机产生的三维模型无缺地集成在一起,构成一个现实中不存在的,但是在电视画面上却又起到演播室作用的那种假想的新的环境和气氛,最终得到把将实拍的人物与虚拟景物无缝地融合起来的画面。

虚拟演播室的优势是显而易见的,从画面可以明显看出,电脑生成的背景与演员之间的融合简直是天衣无缝。虚拟演播室系统用软件来生成背景和道具,它可制作出实际不存在的或难以制作的场景,并可以在瞬间改变场景,可以制作出真实演播室无法实现的效果,其空间不受物理空间限制,摄像机可以以360゜旋转;还可以引人大量虚拟特殊环境与道具,因此可创作出更丰富、更吸引人的节目,使导演在很大程度上摆脱了时间、空间和道具制作方面的限制,获得了更大的创作的想象空间,能够以低廉的成本产生新奇的视觉效果。另外,由于场景的制作、修改、保存等都在计算机上进行,制作和更换电子布景快捷简便,节省了大量的人力、物力、财力,而且缩短了节目制作周期,提高演播室的利用率等等。虚拟演播室虽然具有诸多的优越性,但它由于价格昂贵,普及和推广有一定的难度。

跟踪与定位

在虚拟演播室节目制作过程中,确定摄像机的状态信息非常关键。虚拟演播室专用数字摄像机通常为二到三个,摄像机配有运动检测和识别系统,即摄像机跟踪器。其跟踪方式有光学识别系统和机械传感式系统两种。其原理是将检测到的摄像机的推、拉、摇、移、聚焦、变焦乃至升降等传感部位的运动数据,通过一个"传感器"装置传输到"校准器",这样,理想情况下,现场摄像机与虚拟演播室中"虚拟"的摄像机被相对地锁定在一个位置上。当现场演播室摄像机运动时,虚拟摄像机受跟踪器的控制可以实时地与现场摄像机保持同步。

锁定

虚拟演播室的另一重要而独有的问题是摄像机之间的位置关系。虚拟摄像机与真实摄像机的初始位置并无直接关系,它可以放在虚拟空间的任意位置,当演播室有两台以上摄像机进行切换时,必须保持实际演员和景物在虚拟演播室中的位置不变,也就是与虚拟景物的关系不变。否则在切换时,观众会看到演员从背景中某个地方跳到另一个地方,在视觉上会造成不真实的效果。由于真实物体与演员是由真实摄像机给出,背景由虚拟摄像机给出,所以必须对虚拟摄像机进行位置锁定,即虚拟摄像机之间的距离必须与真实摄像机之间的距离相等,且推拉、摇移的初始量(原位矢量)与真实摄像机的位置方向关系保持一致,才能进行切换。

变焦聚焦景深

实际拍摄时,摄像机的聚焦点一般都跟踪主持人,如果此时前景和背景都聚焦得十分清楚,会产生景深的不自然感。尤其在特写镜头时,背景应该是虚焦的,使前景、背景如同出自同一摄像机,否则,这种虚拟演播室是不成功的。

色键与蓝箱

抠像,蓝箱主要有一墙一底式、两墙一底(一角)式和三墙一底式3种。其中三墙一底式能给出更大空间,摄像机机位限制小,摇摄范围大。蓝箱必须保证均匀的蓝色背景,特别是在墙墙、墙地交接处不能有接缝的痕迹。同时,由于节目制作过程中采用了色键技术,演员及真实道具在蓝室中投下的影子也要随演员及道具一起进入虚拟空间,人物和环境景物在演播室灯光下的影子会被抠掉,造成一种不真实感。由于色键技术的使用,因此会产生延时,不仅要求系统增加前景视频延时单元,而且必须考虑其它问题。一个是声音,由于前景视频被延时,为了保证声画同步,需要增加视频帧同步器。另外,由于延时,给演员观看反馈监视器上的合成图像以确定动作增加了难度。

VJDirector 的抠像功能,可以抠除蓝色,红色和黄色背景,实现虚拟演播厅的效果。启动软件后,打开"系统"->"抠像和颜色调整"。根据实际情况,选择需要进行抠像的通道,并且勾上启动抠像的复选项,然后选择作为背景的通道或者图片。最后,根据实际情况,稍微调节抠像的颜色范围,达到最佳抠像效果。

计算机技术

虚拟演播室系统配备的计算机是一个小型计算机网络,主机为网络中心,它是虚拟演播室的控制中心,是虚拟演播室节目制作的"导演台"。它除了调用和调整事先做好的三维虚拟场景外,还负责向图形发生器传输图像数据及处理由摄像机跟踪器传来的摄像机运动数据。根据主机传来的摄像机运动数据实时地计算出虚拟的三维电脑场景的运动,以保证其输出的虚拟背景与真实的前景同步。

在虚拟节目准备中的一个重要任务就是建立三维模型。虚拟演播室的背景图像可以是来自录像机或摄像机的活动视频,也可以是静止图像等,但使用最多的是由计算机创作的二维或三维模型CG(Computer Graphics),即虚拟场景。虽然虚拟演播室的背景原则上说可以无穷地转换变化,但是背景的创意、三维建模等工作相当复杂,不再是一两个人就能充分使用好的系统,它需要导演、创意者、美术设计、二维建模者、三维建模者、演员及虚拟系统的操作者等人员的通力配合。因此,对于一次性节目背景的制作而言,虚拟演播室并没有效率上的优势,而除了可以制造出不同凡响的特技效果外,能否真正发挥虚拟演播室的功能,创造出高质量的特技效果,还在于制作者的想像力和它们之间的配合。

有轨虚拟

使用光学或机械传感跟踪设备,对真实摄像机的位置及其移动进行跟踪、运算,生成数据流传输到系

统主机。通过系统主机对数据进行运算分析,从而实现真实摄像机在同等比例蓝箱内的移动,体现3D场景中的景深景别的变化。最流行的图像处理方法,是使用色键器将蓝色或绿色的背景替换成实时景。

无轨虚拟

无轨虚拟演播室技术无需使用传感器对摄像机的位置及其运动进行跟踪、运算。 无轨虚拟演播室采用虚拟场景定位技术来实现虚拟摄像机的运动与3D场景实时无缝结合。 通过驱动虚拟摄像机来实现各个机位的推拉、摇移、摇臂、航拍等运 动效果,以及各个机位之间的快速切换。

无轨技术的工作原理: 根据主持人与虚拟场景、虚拟摄像机,三者之间的相对位置关系的变化,通过对3D场景的移动变化进行跟踪定位,从而实现摄像机的推拉,摇移,摇臂乃至航拍的运动效果。 这种无轨技术减少了周边硬件设备的使用,降低了使用成本,操作更便利。

只有对虚拟演播室系统有深刻的了解才能充分发挥其在节目制作中的优势。首先,我们应当了解它能做什么,做出来的效果怎么样。英语有这样一句话可以很好地概括虚拟演播室的作用:"The only limit is imagination."这句话的意思是,局限是能否想得到,没有虚拟演播室做不到的。当然这似乎有点夸张,但虚拟演播室在开拓电视节目的制作领域,充分发挥人的想象力这一点上确实为我们的导演及美术师提供了充分的创作空间。它是将原有的电视节目制作设备与三维动画节目制作设备结合在一起的节目制作系统,也是视频制作方式的一次变革。虚拟演播室的问世,为当今电视节目制作提供了一种全新的制作观念与方法。其具体的运作流程大致如下:

*创意人员拟出节目制作方案;

*导演及创意人员为虚拟演播室电脑虚拟三维场景的操作者"说戏";

*动画师或模型师在电脑中创建模型及贴图;

*导演与虚拟演播室操作者合作直播或录像;

*视频输出、录制及后期制作。

制作方案

由美术设计师将导演思路制作成详细的"剧本"(story book)。所谓详细,是指具体到每个画面要素怎么动,主持人的位置怎么变化,是否有虚拟场景中的特写镜头等。因为镜头推进,意味着电脑生成的图像放大。这就必须要求事先生成的图像尺寸大到足够镜头推进也不至于产生像素变大的现象。虚拟演播室运作的这种特殊性,要求导演必须就每个镜头细节与电脑动画场景的制作者事先沟通,使负责实施剧本方案的制作人员能充分理解导演的意图,将三维场景提前做好。

三维演播室

动画制作是随着计算机图形图像学的发展应运而生的一门专业学科,随着影视及广告业的发展,它的作用日益重要。动画制作直接影响着节目制作的质量。事实上,虚拟演播室已为传统的电视节目制作人提出了一个新的课题:如何利用电脑这种现代科技丰富传统的制作手段。说白了,虚拟演播室就是一个计算机图像产生与合成系统,是用计算机将演播室的观念物化,在制作手段上突破了传统制作手段的一些束缚,使演播室不再受时间和空间的局限。具体的虚拟演播室软件操作者称为"动画师"(animator)或"模型师"(modeler)。他们在整个虚拟演播室节目制作中对演播室的最终效果起着举足轻重的作用,他可以是导演或美工本人,也可以是专业的动画制作者。

配合

动画师或模型师的职责是预先完成节目中所需的电脑三维场景,包括场景中用到的所有贴图,几乎所有的虚拟演播室软件本身并不带有建模及绘画的软件包,多数是利用已有的三维或二维动画、图形图像制作软件来创建模型及模型中需要的贴图,如3D Studio MAX、 Softimage 3D、Lightscape和Photoshop等。这些软件中做好的模型和贴图有的需经过图像格式的转换,再存入虚拟演播室系统的专用目录下,然后才能从虚拟演播室软件环境中读出。大量的矢量数据经过生成后产生的标准倍数位图(power of 2,如256x512、512x1024等),作为虚拟环境要么直接存入图形发生器中使用,要么贴在简单的几何矢量模型上。正是由于复杂的场景已预先在其他软件中制作完成,节省了大量运算时间,所以虚拟演播室才能实现实时演播效果。

现阶段几乎所有的虚拟演播室应用软件还处在发展初期。有些软件还存在着一定的局限,尚不能完全满足节目制作与创新的需要。尽管这一技术发展很快,相信不久即将有相应的更新的软件版本问世,但至少在现阶段,需要制作人员在技术细节上与导演配合。制作人员从传统的单一的执行导演意图的技术员转变成为参与前期总体方案设计的创作者之一。这种变化是现代科技发展的必然结果,无疑提高了现代电视节目制作人的业务要求,同时也扩大了导演的工作职能和范围。对这种要求的变化,我们每个电视工作者特别是制片人与导演必须有充分的认识。否则可能适得其反,即:由于前期制作的局限,而影响现场导演的即兴发挥。例如,如果导演希望虚拟场景中的某个部分动起来,如标志从墙上飞起来,主持人前的主持台自己移走,地面某个部分腾空而起等,就必须将这些带有"动作"的物体提前与电脑模型师讲明,由模型师将这些有动作的物体用电脑创建时就将它们分别作为单个文件单独储存。这与导演看着监视器指挥调整现场镜头中的画面的传统方法是不同的,这也正是虚拟演播室制作电视节目的主要特点。

控制员

与传统演播室相比,主持人或演员所处的现场已不再是五颜六色的舞台,取而代之的是一个全部涂成蓝色的房间。摄像师的拍摄对象主体只剩下了主持人或演员。机位的运动取决于电脑中建立的虚拟场景。摄像师通过监视器看到画面的效果,导演则坐在电脑终端前与虚拟演播室软件的具体操作者来共同控制整个节目。如果画面"穿帮",即现场摄像机摇到蓝色背景以外,虚拟演播室软件能根据需要自制出虚拟蓝色背景。至于控制虚拟演播室软件的操作者的称谓,学术界尚无统一的准确说法,国外习惯称之为"Operator",这也是传统说法的借用。虚拟演播室电脑机位上的操作者(暂且称之为"虚拟控制")已不再是一般意义上的电脑操作人员。虚拟演播室系统是一个计算机图像合成系统,其控制中心是虚拟演播室的系统软件,它也是虚拟演播室节目制作的"导演台"。具体实施操作的系统控制员无疑成了实施导演意图的最直接执行者,他需要既能熟练运用虚拟演播室软件及其相关的三维动画制作软件,同时又要具有一定的镜头意识和感觉。这样才能更好地与导演配合,做出理想的节目。