第 23 章

混合现实的产业接口

在消费级虚拟现实产业的空间定位版图上,2020年代最初几年分出了两条互不相交的路线。一条路线依赖于安装在房间角落的方形基站,靠旋转激光和同步脉冲把佩戴者的身体钉进一个预先标定好的矩形坐标系里;另一条路线则让头显自己长出眼睛,用前置摄像头扫描墙壁、地板与家具,再根据实时画面判断用户究竟站在哪里。前者以毫米级精度为生,后者以可移动性为生。两者分属不同价位、不同用户和不同场景,像两条平行河道,很长时间里谁也不碰谁。

这种平行在2022年春天出现第一次结构性松动。Meta开始向一部分外部开发者分发Quest Pro的早期测试套件,头显前端的彩色摄像头第一次把外部世界的实时彩色图像送进佩戴者眼中。

严格说,透视功能本身并不新:早在2019年,Quest一代的黑白透视模式已经允许用户在佩戴头显时看到环境的粗略轮廓。但黑白透视更像安全辅助,存在只是为了让人不撞上家具,而不是为了让人在真实空间里停留。2022年的彩色透视不同。

第一批测试者戴上设备,看到自家客厅里的沙发、茶几和落地灯以接近自然的色彩浮现时,许多人的第一反应不是兴奋,而是困惑。他们不知道这个功能该用在哪里。这种困惑本身,就是那个旧产业结论开始松动的迹象。

这个转变的起点,要追溯到2021年秋天Meta内部的一项决策。当时Quest 2的销量已经突破千万台,但用户数据显示出一个令人不安的趋势:单次使用时长在经历了初期的增长后开始趋平,大量用户在购买后三个月内将设备收进了抽屉。分析团队给出的解释并不复杂:封闭的虚拟环境让人疲劳。玩家在进入VR后,身体实际上被关进了一个看不见的笼子里。即使是最开放的游戏场景,用户的潜意识里仍然记得自己正站在一个可能撞上墙壁或桌椅的房间里。这种持续的低强度警觉,比身体动作的消耗更早地终止了游戏时间。

Meta需要找到一种方法,让用户既能留在虚拟内容里,又能感知到自己真实身体所在的空间。彩色透视被提上了日程。但它面临的技术门槛远比想象中高。

头显前端的摄像头捕捉到的画面,需要经过图像处理再显示给用户,这个过程每增加一毫秒延迟,都会加剧用户的眩晕感。早期的工程原型中,透视延迟一度高达数十毫秒,画面像一面被风吹动的镜子,让人无法稳定站立。

更棘手的问题是深度感知。人眼在自然状态下通过双目视差来判断距离,但头显上的摄像头与用户眼睛之间存在物理偏移,如果直接把摄像头画面显示出来,用户看到的世界会发生微小的错位,手去抓取真实物体时会偏高或偏低。工程团队不得不在软件层面对画面进行重新投影,模拟人眼从实际位置看到的视角。这个过程涉及到对每个像素的深度估算,而深度估算又需要摄像头阵列提供足够的空间信息。

Quest Pro最终搭载的彩色透视系统,包含多个朝向前方和侧方的摄像头。这些摄像头同时工作,生成对周围环境的实时三维理解。与早期黑白透视的单目画面不同,彩色透视要求系统在极短时间内完成从图像采集、深度计算到画面重构的全流程。

工程师们在两年多的时间里,把透视延迟压缩到了一个普通用户不会主动察觉的水平。这个数字没有出现在发布会的核心参数里,但它决定了用户是否会愿意在透视模式下停留超过三十秒。

深度传感器的问题同样复杂。Quest Pro没有采用激光雷达,而是依靠摄像头阵列和算法来完成空间网格的构建。系统会自动识别房间里的墙壁、地板、天花板和大型家具,生成一个粗略的三维网格。

这个网格随后被用于两个关键功能:空间锚定和虚实遮挡。空间锚定允许虚拟物体被固定到真实空间中的某个位置,用户可以绕着虚拟物体走动,从不同角度观察它,甚至把虚拟物体放在真实桌面上。虚实遮挡则解决了一个更深层的问题:当虚拟物体的一部分被真实物体挡住时,系统需要计算出遮挡关系,让虚拟物体正确显示在真实物体的后方,而不是浮在所有东西的前面。

这两个功能在技术上都不完美。空间锚定在光线昏暗或家具纹理过于单一的环境里会发生漂移,虚实遮挡的边界有时会出现肉眼可见的粗糙锯齿。

但它们的意义不在于精度本身,而在于它们为开发者打开了一个原本不存在的创作空间。过去,开发者只能在一个完全虚拟的环境里设计交互,玩家的身体动作被限制在虚拟边界内,真实房间里的任何东西都无法参与游戏。现在,玩家的客厅本身可以成为游戏场景的一部分。这个变化对内容生态的影响,远超过任何单一的硬件参数提升。

Meta在2022年10月的开发者大会上正式发布了Quest Pro,同时推出的还有Presence Platform的一部分——一个包含空间锚定、场景理解和透视功能的开发工具集。随后在2023年,Quest 3以不到Quest Pro一半的价格,将彩色透视和混合现实功能带入消费级市场。这个时间差的安排显示了Meta的商业意图:先用高价设备试探开发者社区的反应,再通过低价设备把混合现实推向大众。但这个策略也暴露了一个尴尬的事实:在Quest Pro刚发布时,几乎没有可以展示的混合现实应用。

硬件先于内容生态到位,这一直是体感交互产业反复出现的老问题。开发者们拿到开发工具后,面临的第一个问题是如何重新理解交互设计。

一家西雅图的独立游戏工作室在2023年初开始尝试为Quest 3开发一个解谜游戏。团队最初的设计沿用传统VR的思路:玩家进入一个虚拟房间,在里面寻找线索、操作机关。

但在测试中,他们发现如果允许玩家用自己的真实客厅作为游戏舞台,某些谜题会产生完全不同的效果。比如,一个要求玩家把虚拟物品隐藏在“沙发后面”的谜题,在纯虚拟房间里只是一个普通的寻物任务,但在混合现实模式下,玩家需要真的走到自己家沙发旁边,弯下腰把虚拟物品放到真实沙发与真实墙壁之间的缝隙里。这个动作调动的身体记忆和空间认知,远比在虚拟场景里按下一个按钮要丰富得多。这个设计理念的变化,反映了混合现实对内容生态的一次深层扩容。

在纯VR时代,体感游戏的内容类型高度集中于节奏动作、运动模拟和第一人称射击,因为这些类型最能利用身体动作的直观性,也最不需要用户对真实环境进行长时间思考。解谜游戏、社交应用、健身指导、生产力工具这些类型,在纯VR里始终难以获得足够的用户黏性,因为它们要么需要用户频繁查看说明书或参考材料,要么需要用户与真实环境中的其他人和物保持联系。

混合现实恰恰在这些方面提供了新的可能:用户可以在透视模式下看到自己的键盘、笔记本和咖啡杯,同时与叠加在桌面上的虚拟物体交互;可以在客厅里跟着虚拟教练做瑜伽,同时确认自己不会踩到猫。

一位曾在Meta参与早期开发者支持工作的工程师,在2023年的一次行业访谈中提到,混合现实API的推出时机比技术成熟的时间早了一年左右。这意味着开发社区在最初阶段面对的不是一个完善的工具,而是一个方向性的承诺。

这种策略在短期内造成了开发者社区的抱怨——文档不完整、功能不稳定、示例项目运行效率低——但从产业史的角度看,它的必要性在于:如果等到技术完全成熟再开放接口,内容生态的培育将被推迟两到三年,而那个窗口期恰恰是竞争对手入场的时刻。

反方解释认为,体感控制器的发展主要由技术成熟度和成本下降驱动,内容生态只是被动响应。这个解释在Wii和Kinect的时代有相当强的解释力,但在混合现实这里出现了明显的不足。

Meta在Quest Pro和Quest 3上投入的彩色透视、空间网格和遮挡计算,本身并不是由现成的技术成熟曲线自然推动的。激光雷达、深度摄像头、低延迟图像处理这些技术在过去几年里并没有出现成本骤降或性能飞跃。Meta选择的路线——用普通摄像头加算法来近似激光雷达的深度感知能力——恰恰是为了在成本和精度的取舍中,优先保证一个足够低的消费级价格,同时把省下来的资源投入到对内容生态的主动扩容上。

换句话说,混合现实不是技术成熟后自然溢出的功能,而是Meta为了突破纯VR的生理瓶颈和内容类型限制而主动选择的一条路线。

这个判断可以从Meta在Quest Pro定价上的矛盾行为中得到侧面印证。Quest Pro首发价格接近一千五百美元,远高于Quest 2的三百美元,这个价格定位显然不是面向大众消费者。

但仅仅十个月后,Quest 3以四百九十九美元的价格提供了同样核心的混合现实功能。如果把Quest Pro看作一项技术验证,把Quest 3看作真正的市场产品,那么这个价格落差表明Meta在高端试水和成本收敛之间有意压缩了时间差。这种做法在硬件行业里并不常见,因为高端产品线通常需要维持一到两年的独占期来回收研发成本。Meta压缩这个周期,说明它衡量成功的标准不是Quest Pro本身的销量,而是混合现实作为一项产业接口能否在尽可能短的时间内进入开发者的主流视野。这个策略的效果在2023年下半年开始显现。

几款早期的混合现实应用陆续出现在Quest商店里。其中一款健身应用允许用户在透视模式下看到自己的客厅,虚拟教练站在真实地板上,动作演示与用户的空间位置进行校准。另一款射击游戏让虚拟敌人从真实门框和走廊里涌出,用户必须利用自家墙壁作为掩体。这些应用的技术完成度参差不齐,但它们传递出一个共同的信号:身体交互的舞台已经从封闭的虚拟空间扩展到了用户的真实住所。

这个扩展带来一个容易被忽视的后果。纯VR提供的是一种逃离——用户戴上头显,进入一个与现实完全无关的世界。混合现实则完全不同,它把虚拟内容带回了用户的真实客厅。这意味着体感交互的每一次动作,都被嵌入到家庭空间的具体物质条件中:房间的大小、家具的摆放、地板的材质、光线的方向,都成为游戏体验的一部分。对开发者来说,这意味着内容设计必须考虑大量不可控的环境变量。对用户来说,这意味着戴上头显不再是一次彻底的沉浸,而更像是在自己的家里接待一个虚拟的访客。

这个变化与前文末尾留下的问题形成了一种戏剧性的关联。Valve和HTC所依赖的外部基站,本质上是将用户束缚在一个被精确标定的矩形区域内的技术。而混合现实的技术路线——摄像头扫描、空间网格、实时透视——恰恰否定了一个固定标定区域的存在。当用户可以在整个客厅甚至整个住宅里移动时,基站意义上的追踪精度就不再是决定性的指标。用户需要的不再是毫米级的绝对定位,而是足以与虚拟物体进行自然交互的相对精度。

这对高端基站路线构成了根本性的挑战:它的精度优势在新的交互范式中变得无关紧要,而它高昂的成本和安装复杂度却变成了明显的短板。这个挑战在2023年尚未完全显现,因为Valve Index和HTC Vive Pro 2仍然在商业和工业市场里占据着一席之地。但这些市场的增长潜力显然无法与消费级混合现实相比。

一家专注于VR游戏开发的德国工作室在2023年秋天做出了一个务实的决定:停止为基于基站的PCVR平台开发新内容,将资源全部转向Quest 3的混合现实项目。负责人公开表示,基站设备在他们用户群中的占比已经跌破了维持单独开发成本的最低线,而Quest 3的应用商店用户活跃度在发布后的三个月里呈现出远超预期的增长。这类个案在当时还没有形成行业共识,但它们指向了一个正在发生的结构性转变:开发者追逐的永远是内容分发的规模,而混合现实正在将内容分发的舞台从虚拟世界搬回真实空间。

这种“搬回”有其深刻的生理基础。人在完全封闭的虚拟环境中持续接收前庭系统和视觉系统不一致的信号,会积累一种被称为“空间焦虑”的不适感。这种不适不同于眩晕,它更像一种持续的低强度不安,让人在虚拟场景中无法真正放松。彩色透视的引入,让用户在保留部分真实视觉的同时与虚拟物体互动,这种混合状态显著降低了一部分用户对空间脱节的敏感度。

一个在洛杉矶从事VR康复应用开发的团队发现,他们的患者中有相当一部分人在纯VR环境中表现出明显的抗拒,但在混合现实模式下,患者会更愿意完成指定的肢体训练动作,因为他们在训练过程中能同时看到自己的真实身体和真实环境,这种“脚踏实地”的感觉是纯虚拟场景无法提供的。这些来自不同方向的经验,共同拼出了混合现实作为“产业接口”的全景。

工程团队解决的是透视延迟和空间理解的问题,开发者解决的是如何把真实环境变成可设计的游戏机制的问题,而用户则在用自己的身体和家庭空间来验证这些机制是否真的成立。三者之间没有统一的计划,而是通过Meta发布的技术接口、开发者提交的应用程序和用户在商店里的行为数据,形成了一种反复反馈的市场选择过程。

这个过程的结果在2023年还没有完全清晰,但它的方向已经足以让产业观察者做出判断:体感交互的内容生态,正在经历一次物理空间的扩容。开发者不再只设计封闭的虚拟场景,而是可以把用户的真实环境作为交互舞台的一部分。

这个扩容也带来了一种新的产业张力。Meta投入大量资源研发混合现实,本意是打破纯VR对用户的隔离,让虚拟内容进入现实空间,从而延长使用时间、拓展内容类型。

但当这个目标逐渐实现时,用户与设备之间的关系也发生了变化。在纯VR时代,头显是一扇通往别处的门。在混合现实时代,头显更像一面放在客厅里的镜子,它把虚拟物体反射进用户的日常生活。用户当然可以看到自己的真实房间,但同时也更紧密地依附于这个房间的具体条件。

一个住在一居室公寓里的用户和一个住在郊区大宅里的用户,在混合现实应用中的体验差异,比在纯VR里大得多。混合现实把物理空间的现实不平等带进了虚拟内容的消费过程中。这个反讽之处在于,Meta为了解决“用户被虚拟边界束缚”的问题而开发的彩色透视,最终让用户的真实房间成为了新的界面边界。

虚拟物体可以叠加在真实家具上,身体移动不再被画在虚拟世界里的边界线所限制,但玩家仍然是在自己的客厅里走动——而且这次,客厅的每一寸空间都变成了游戏机制的一部分。所谓“突破虚拟边界”,实际上是把边界从虚拟场景转移到了真实住所的物理界线上。

这个后果在2023年的一款混合现实解谜应用里表现得格外具体。游戏要求玩家在自己家里寻找几个虚拟机关,其中一个机关被放置在“用户真实的窗户附近”。开发者在设计时认为这是一个聪明的空间利用,但他们收到的大量用户反馈却暴露了一个问题:住在没有窗户的地下室公寓里的玩家无法完成这个谜题,因为系统的空间理解算法无法在他们的环境里识别出窗户结构。

开发者不得不发布补丁,把窗户改为“任意带有自然光照射的平面”。这个看似微小的修改,揭示了混合现实对用户真实空间条件的依赖,以及这种依赖可能带来的新的排斥机制。这个案例也暗示了苹果将要入局时可能采取的不同路径。

Meta的混合现实路线建立在普通摄像头和算法近似的基础上,它的空间理解是概率性的,对环境条件的容错率较高,但在细节上无法提供稳定、高精度的空间量化。苹果在Vision Pro上采用的硬件方案——包括激光雷达和更密集的传感器阵列——显然不满足于只是“看到”房间的大致结构,而是试图对用户周围的空间进行更精细的扫描和重建。

这条路线在成本上远高于Meta的选择,但它可能提供的是混合现实所需的另一种能力:对微小空间变化的精准捕捉,以及对虚拟物体与真实世界之间遮挡关系的更精确计算。如果Meta的路线是为大众用户提供一间“足够好”的虚拟客厅,那么苹果显然在为同一个房间提供更高标准的装修。

这个竞争态势在2023年还没有全面展开,但它给了本章所讨论的“产业接口”一个明确的历史位置。混合现实不是单纯的技术升级,而是对体感交互三角中“内容生态”维度的一次主动扩容。这次扩容的动因不是技术成熟后的自然溢出,而是纯VR在生理疲劳和内容类型上的结构性瓶颈。

引入真实空间作为交互舞台,确实为开发者和用户打开了原先不存在的创作和体验空间,但它同时把真实世界的物理不平等和社会差异带入了虚拟内容的消费过程。Meta在这个时间窗口里用高端试水加快速降价的策略抢占了开发者心智,但这个策略的代价是,它让混合现实的早期体验被锚定在“客厅里的附加层”这个有限的场景上。而一个不满足于把交互精度停留在客厅尺度的竞争者,已经站在了这条产业接口的另一端。

这种不安还没有扩散到普通玩家的日常使用中。在2023年秋天,一个普通用户戴上Quest 3,看到自己凌乱的客厅里出现了一扇通往虚拟峡谷的彩色窗口时,他大概不会去想这项技术背后那些关于延迟、深度估算和空间网格的工程决策。他只会注意到,虚拟窗口的边缘与他真实茶几的距离刚好容得下他伸出的手。这个画面足够新鲜,也足够自然。

自然到他会忘记,为了让这个虚拟窗口能稳稳地贴在他的茶几上方,而不至于因为光线变化或家具移动而漂移到几厘米之外,有一群工程师曾在过去两年里反复处理着那些在发布说明里绝对不会提起的底层问题。

但正是这些不会被玩家看见的问题,决定了体感交互产业的下一次分化。当一个产业的基础接口从虚拟空间扩展到真实空间时,它竞争的就不再只是谁的头显更轻、谁的追踪更准,而是谁能把用户所处的真实世界转化为可计算、可设计、可消费的环境。在这一点上,Meta用彩色透视证明了技术路线的可行性,也证明了内容的丰富性能在多大程度上依赖真实空间的参与。

但它同时把一个更大的问题摆到台面上:如果混合现实的未来不止于让虚拟物品叠加在客厅里,如果它还要进入桌面、工作室、医院、工厂,如果它要把交互精度从手势和身体动作推进到手指、手腕甚至眼球的级别,那么一个基于普通摄像头算法近似的方案,还能不能承担起“产业接口”的功能。Quest 3给出的回答是廉价的肯定。

它用比Quest Pro低得多的价格,把混合现实的种子撒进了数百万个家庭。这些家庭里的每一次虚拟物体与真实沙发之间的叠加,每一次在透视模式下完成的虚拟训练,都在为这个新接口积累行为数据和使用习惯。而苹果即将拿出的,是另一个答案。它不会接受一个只能识别“大致空间”的接口,也不会满足于让用户在自己的客厅里做有限的身体移动。

混合现实打开了一扇门。它让虚拟物体第一次真正走进了普通人的家,也让体感交互第一次把“真实世界”变成可编程的界面。但正因为这扇门打开得很急,它同时也暴露了门后那些尚未解决的问题:空间理解的精度能把虚拟物体锚定在真实世界里的哪一个层级?用户的家庭空间差异会如何影响内容的公平可达?

一个依赖普通摄像头的低成本方案,和一个追求桌面级精度的昂贵方案,究竟哪一个能定义下一代体感交互的主战场?这些问题的答案,在Quest Pro和Quest 3掀起的混合现实浪潮里还找不到。浪潮本身在向前推进,而新的竞争已经沿着这条产业接口的另一端开始集结。