Search
Duplicate

정신건강치료의 XR 활용 기술조사

Created
2023/07/11 01:11
Tags
2023 Q2
Research Date
2023/01/31
https://www.bbc.com/korean/news-58114018

클라우드 렌더링

HMD는 기본적으로 배터리로 구동되기 때문에 본질적으로 저전력 중앙처리장치(CPU)와 그래픽처리장치(GPU)를 사용했습니다. 그래서 VR 콘텐츠를 Quest에서 실행하려면 단순화해야 했는데, 낮은 성능의 스마트폰 디바이스나 고해상도의 그래픽 경험을 위해서 클라우드 렌더링이 사용될 수 있을 것 같습니다.

NIVIDA CloudXR 아키텍처

CloudXR 서버 내부에서는 OpenVR 애플리케이션에서 비디오 프레임, 오디오, 햅틱, 헤드포즈, 컨트롤러 인풋 등을 수신한 후 인코팅하여 클라이언트로 전송합니다.
그러면 클라이언트에서 비디오 프레임과 오디오를 디코딩하여 사용기기 런타임에 제공하는 구조입니다.

지원하는 Head Mounted Displays

OpenVR-capable HMDs tethered to NVIDIA Pascal, Turing, or Ampere based GPU:
HTC VIVE : HTC VIVE, HTC VIVE Pro, HTC VIVE Pro Eye
Valve : Valve Index
Untethered Android-based devices:
HTC VIVE : HTC VIVE Focus 3,
Meta Quest : Meta Quest, Meta Quest 2
Pico : Pico Neo 3, Pico Neo 3 Pro Eye

지원하는 Mobile Devices

지원하는 클라우드 서비스

AWS, Google Cloud, Microsoft Azure

Portal의 클라우드 렌더링 아키텍처

크로스 플랫폼 XR CMS이라고 소개하고 있는 Portal의 아키텍처
CloudXR Server CloudXR Client 간의 통신에 클라우드에서 렌더링 리소스 할당을 처리하고 원하는 VR 콘텐츠를 원격 시스템에 동기화하고 사용자가 원하는 VR 콘텐츠를 선택하면 CloudXR을 실행하는 구조라고 합니다.
AWS, Microsoft Azure와 같은 클라우드 공급자들에 의존하지 않고 모든 유형의 VR 콘텐츠와 모든 유형의 환경을 지원하는 개방형 플랫폼이라고 합니다.
Packer라는 오픈소스 도구를 이용해서 모든 클라우드 공급자를 위해 사전 설치된 소프트웨어 구성 요소를 사용하여 맞춤형 가상머신(VM) 이미지를 구축하여 클라우드에 구애받지 않고 NVIDIA CloudXR 서버를 사용할 수 있게 한 파이프라인입니다.

AWS의 CloudXR 아키텍처

AWS에서 소개한 아키텍처

CloudXR 아키텍처 샘플

기타 참고 : Interactive Low-Latency Volumetric Video Streaming using head motion prediction

2020년 6월 NOSSDAV’20에서 발표된 상호작용되는 Low-latency 볼류메트릭 비디오 스트리밍에 대한 아키텍처 자료입니다.
볼류메트릭 비디오를 렌더링 하기위해서는 많은 컴퓨팅 파워가 필요한데 이를 경감시키기 위해서 클라우드 서버에 있는 볼류메트릭 비디오로부터 2D뷰를 렌더하여 2D 비디오를 클라이언트에게 스트림하는 시스팀을 개발했다고 합니다.
유저의 헤드 모션을 예측하는 모델을 개발하고 M2P(motion-to-photon) latency를 줄이기 위한 잠재력에 대해서 연구함.