클라우드 렌더링
•
HMD는 기본적으로 배터리로 구동되기 때문에 본질적으로 저전력 중앙처리장치(CPU)와 그래픽처리장치(GPU)를 사용했습니다. 그래서 VR 콘텐츠를 Quest에서 실행하려면 단순화해야 했는데, 낮은 성능의 스마트폰 디바이스나 고해상도의 그래픽 경험을 위해서 클라우드 렌더링이 사용될 수 있을 것 같습니다.
NIVIDA CloudXR 아키텍처
•
CloudXR 서버 내부에서는 OpenVR 애플리케이션에서 비디오 프레임, 오디오, 햅틱, 헤드포즈, 컨트롤러 인풋 등을 수신한 후 인코팅하여 클라이언트로 전송합니다.
•
그러면 클라이언트에서 비디오 프레임과 오디오를 디코딩하여 사용기기 런타임에 제공하는 구조입니다.
지원하는 Head Mounted Displays
•
OpenVR-capable HMDs tethered to NVIDIA Pascal
, Turing, or Ampere based GPU:
, Turing, or Ampere based GPU:◦
HTC VIVE : HTC VIVE, HTC VIVE Pro, HTC VIVE Pro Eye
◦
Valve : Valve Index
•
Untethered Android-based devices:
◦
HTC VIVE : HTC VIVE Focus 3,
◦
Meta Quest : Meta Quest, Meta Quest 2
◦
Pico : Pico Neo 3, Pico Neo 3 Pro Eye
지원하는 Mobile Devices
지원하는 클라우드 서비스
•
AWS, Google Cloud, Microsoft Azure
Portal의 클라우드 렌더링 아키텍처
•
크로스 플랫폼 XR CMS이라고 소개하고 있는 Portal의 아키텍처
•
CloudXR Server CloudXR Client 간의 통신에 클라우드에서 렌더링 리소스 할당을 처리하고 원하는 VR 콘텐츠를 원격 시스템에 동기화하고 사용자가 원하는 VR 콘텐츠를 선택하면 CloudXR을 실행하는 구조라고 합니다.
CloudXR Client 간의 통신에 클라우드에서 렌더링 리소스 할당을 처리하고 원하는 VR 콘텐츠를 원격 시스템에 동기화하고 사용자가 원하는 VR 콘텐츠를 선택하면 CloudXR을 실행하는 구조라고 합니다.•
AWS, Microsoft Azure와 같은 클라우드 공급자들에 의존하지 않고 모든 유형의 VR 콘텐츠와 모든 유형의 환경을 지원하는 개방형 플랫폼이라고 합니다.
◦
Packer라는 오픈소스 도구를 이용해서 모든 클라우드 공급자를 위해 사전 설치된 소프트웨어 구성 요소를 사용하여 맞춤형 가상머신(VM) 이미지를 구축하여 클라우드에 구애받지 않고 NVIDIA CloudXR 서버를 사용할 수 있게 한 파이프라인입니다.
AWS의 CloudXR 아키텍처
•
AWS에서 소개한 아키텍처
CloudXR 아키텍처 샘플
기타 참고 : Interactive Low-Latency Volumetric Video Streaming using head motion prediction
•
2020년 6월 NOSSDAV’20에서 발표된 상호작용되는 Low-latency 볼류메트릭 비디오 스트리밍에 대한 아키텍처 자료입니다.
•
볼류메트릭 비디오를 렌더링 하기위해서는 많은 컴퓨팅 파워가 필요한데 이를 경감시키기 위해서 클라우드 서버에 있는 볼류메트릭 비디오로부터 2D뷰를 렌더하여 2D 비디오를 클라이언트에게 스트림하는 시스팀을 개발했다고 합니다.
•
유저의 헤드 모션을 예측하는 모델을 개발하고 M2P(motion-to-photon) latency를 줄이기 위한 잠재력에 대해서 연구함.