MTVerseXR — Asynchronous TimeWarp
2024-12-17
1、概述
TW是一种图像处理技术。它是将前一帧渲染图像进行扭曲，来生成当前帧渲染图像的方法；在VR应用中帧刷新率相对较高，两帧之间的位姿变化很小，所以不会出现大面积像素缺失，利用这项技术可以有效的缓解由于渲染延时造成的跳帧、漏帧现象导致的画面抖动。ATW是指在和渲染线程并行的独立线程中处理TW，在渲染时刻同步TW结果。
2、ATW
2.1 工作流程
以一个VR游戏串流流程为例，CPU负责计算头盔的位姿，GPU负责渲染游戏场景，Compositor负责显示场景。
当显示场景时，如果CPU计算准确和GPU处理及时，就会呈现当前帧的画面，如图中t0的时段；而当t1时段，由于GPU处理不及时，导致当前帧无法传输给Compositor进行呈现，就会使用上一帧的画面，这就导致了跳帧和漏帧。ATW利用当前渲染的最后帧画面，计算最后帧位姿和当前帧位姿的变化量，将变化量重投影最后帧的图像，从而完成当前帧的生成。
VR串流流程
在MTVerseXR串流的场景中，端同步、网络等原因都将大大增加了GPU渲染结果传输到客户端显示的延时，ATW就可以更好的保证在高延时情况下，用户流畅的应用体验。在客户端有独立线程收集服务端发送的渲染结果和位姿信息，当客户端渲染时，会同步获取最新的渲染结果进行ATW处理。当延时较大时，可能会有连续多帧画面是通过ATW生成，画面边界处会由于缺少像素呈现黑边的现象。
2.2 优势
ATW使用上简单高效，只需要一帧图像和两帧的位姿信息，而不需要额外的资源就可以进行计算；而且本质上是一次图像的重投影，和应用场景本身的复杂度无关，所以不会花费很多的渲染资源就可以获得一帧新的图像。
2.3 局限性
虽然ATW很有用，但也有很大的局限性。首先它是2D图像的重投影，只能纠正头盔位姿的旋转变化，平移的变化会产生物体重叠的伪影现象，在近场景物体较为明显；另外如果应用场景中有运动物体，会产生抖动的另一种伪影现象，这是因为ATW生成的帧图像在时间上是停止的，并不会考虑物体的运行，在高速移动的物体的影响较大。
伪影现象
2.4 其他
ATW只是TW的基础版本，PTW（Positional TimeWarp）、ASW（Asynchronous Spacewarp）等技术，通过深度、运动向量等信息可以更好的解决头盔位姿平移变化和运动物体伪影的问题，提供给用户更完美的应用体验。