从讨论5G需求的第一天开始，VR/AR就被看作是5G重要的应用。2016年，VR/AR迎来了第一轮发展高峰，当年相关融资高达300亿美元。但VR佩带后的体验，尤其是明显的眩晕感让人不适。2016年，5G刚开始进入技术测试，整体技术构架还很稚嫩，有专家已经言之凿凿：5G的低时延能够解决眩晕。到了2018年年底，5G即将展开试商用，而VR则像过山车一样行至谷底，曾经的“杀手级”应用是否需要5G来拯救?


韩国首次尝试5G+VR


奥运会是向全世界展示新技术的绝佳舞台。2018年在韩国举办的平昌冬奥会上，一部分观众已经现场体验了5G+VR带来的全新观感。韩国电信(KT)VR项目总经理Lee Youngho说，平昌奥运会上，KT提供了360度的VR服务、同步视角服务、全场景观看服务。


在360度的VR服务中，KT围绕滑冰场地设置了数个360度的VR摄像头，并在场馆二层开辟了VR观众体验区，观众带上VR头显设备，可以以360度的视角观看运动员的滑冰比赛，从VR摄像头到观众的VR头显设备的视频信息传输，是以设置在比赛场馆四周的5G基站实现的。同步视角，则是将摄像头装在运动员随身装备中，观众可以同步运动员视角，体验运动员的参赛体验，如滑雪项目等。


KT还可以提供观众想看的比赛中任何瞬间的画面，在花样滑冰场馆，KT沿冰场密集部署了100个高清摄像头，观众可以从任意角度重看这场比赛。


借用奥林匹克运动会向世界展示5G技术与应用能力已经是运营商5G商用落地总体计划中的一部分，在韩国2018年平昌冬奥会之后，日本的2020年东京奥运会、中国的2022年北京冬奥会也可期待。


VR新产品指向XR


中国工程院院士赵沁平认为，VR前一阶段的跌落符合Gartner新兴技术曲线第一阶段特点，VR正在复苏，各项技术也将更加成熟。而从娱乐游戏中诞生的VR，如今更被一些人视为下一代的计算平台。但这个平台不会像现在VR头显(HDM)那样笨重，不会遮挡人的正常视线，而且应该时尚、便携。


高通展示了一款时尚轻便的XR概念眼镜。眼镜看上去和普通眼镜一样，但在镜架、镜框和镜片上，集成了多种传感器和芯片，例如骨传感器、定向扬声器、追踪与记录摄像头、健康传感器、惯性传感器、高敏感话筒、4G5G的多模连接芯片、许多被动和主动的使用鱼眼镜头和长焦镜头的相机、光电夜视和热成像传感器、眼球追踪相机以及耐用并且半透明显示的光学投影组件。这些组件的重量、集成度和性能，绝定了XR眼镜的佩带体验。


这种移动XR眼镜的好处是可靠，随时随地可以使用，无需设置，电池供电时长，超轻设计，而且可以利用移动生态系统的规模，实现低成本。而现在用得较多的是基于PC的HDM设备，虽然不受功率和热量限制，但高端体验昂贵，HDM与PC之间的电线限制了直观的操作和沉浸感，而且PC的HDM使用限于固定位置。


但目前移动XR的情况还远没有如此乐观。据赛迪集团发布的VR产业地图，其中对VR技术产业做了成熟度矩阵分析，有大量的基础技术需要长期等待，如透明显示器的成熟预计要用5到10年，这是XR眼镜的重要组件。


中国移动研究院副院长魏晨光认为，VR产业发展面临的挑战主要是VR设备的普及不够，PC VR虽然有更好的画质，但价格昂贵缺乏便携性;Mobile VR虽然价格低但比较重，而且计算能力有限。


需求是最好的推动力，当VR头显热度降低、移动XR方式日受重视，用于移动XR的技术将会加速成熟。在使用移动XR时，5G的低时延、大宽带和高可靠等特点可以为移动XR更好的使用体验和性能体现打下基础。


5G支撑边缘云渲染


使用移动XR，必然要分割渲染。分割渲染是将必须在XR眼镜上做的渲染处理和可以放在边缘云上做的渲染处理分开，但在最终呈现时两个渲染应该同步，这样我们才能看到完整的虚拟现实或者增强现实的画面。



清华大学与美国普渡大学展开的Furion项目是想解决手机VR的边缘计算问题，这虽然和移动XR需要的边缘云渲染不完全相同，但对研究分割渲染的特点有重要的借鉴作用。


Furion项目在无线VR的探索中开始用了两种方法，一种是云端渲染高质量VR画面发至手机，遇到的问题是移动网络带宽不足、帧率受带宽波动影响画面不稳;另一种是手机本地渲染VR应用，出现的问题是手机发烫、画面容易卡顿。

手机VR的发展受电源、GPU/CPU资源的限制，针对移动VR，企业提出不同的解决办法。微软提出FlashBack，核心思想是预渲染+缓存预测。但VR需要预存50GB，以现在智能手机的存储无法支持实时交互的虚拟现实应用。


Furion项目将手机VR分出两层：一层内容是前景交互和背景环境，另一层是前景交互和背景环境有可预测性的渲染工作。手机上根据实时交互渲染前景，远端做预渲染背景并进行编码。将临近的编码数据预先传到手机上，根据实时交互，手机CPU解压并协同显示，以此实现手机与边缘云的协同渲染。清华大学教授崔勇说，手机上解码一个全景帧大约需要40ms的延时，我们采用了并行解码的方式，多核CPU并行解码后，延时降低到约13ms。通过Furion系统做的手机VR与边缘云协同渲染，效果还是比较满意的，原来本地渲染效果每秒5~7帧，使用后提高到每秒58帧左右。


无论是VR、AR、MR以及我们文中提到的XR，还是正在发展中的越来越逼真的3D全息显示，每帧图像的数据量在成倍地增长，每秒的帧数也从24向36、64、124的方向发展。VR高带宽、低延时、大计算量的特点，对通信网络提出了新的挑战。5G网络具有更高速率、更低时延、软件定义网络和移动边缘计算等5G网络新技术可以根据业务需求匹配网络和计算资源，将更好地满足VR业务需求，推动VR创新应用的发展，为用户带来更丰富的体验。