서울대학교병원 수술실 연계 구축된 수술영상 통합관리시스템 (24.8)
SEDN v2 Medical edition 이라고 할수있는 수술영상 관리시스템을 개발하여 서울대학교병원에 구축하고 이를 전공의교육으로 응용할수 있는 웹 인터페이스, OTT인터페이스, HMD 인터페이스를 제공함
•
로봇수술장비 연동 자동화 : 실시간 저장녹화, 라이브서저리, 다시보기 (VOD) 형태의 연계 시스템 구축함. 메타데이타 등록위한 관리자 인터페이스와 PC,Mobile 사용자서비스 제공함. 셋탑박스통한 TV 인터페이스도 제공함
주로 PC서비스 예상되나 모바일까지 반응형으로 인터페이스 구성함
•
메타데이타 커스텀 : 진료과목별로 특화된 메타데이타 커스텀을 제공함으로써 표준화된 메타데이타 분류 및 보관 가능해지고 향후 대용량 라이브러리 구성시 필터 검색등 활용성 높아질것임.
내분비외과 기준 커스텀된 메타데이타 등록화면
•
XR콘텐츠 배치및 완성도향상 : 영상과 함께 시뮬레이션 콘텐츠도 선택하여 실습해볼수 있도록 구성함. 뇌실액배액술(EVD) 외과전공의 필수코스이나 [뇌]라는 특수성 때문에 술기교육 기회 제한되어 XR교육시 효과높음,. Unity 기반으로 관련 교육 시뮬레이션 콘텐츠 개발 및 24.2 전공의 건의사항 반영한 버전 개발
뇌실진입전후장면으로 카테터의 진입각도, 뇌실중앙에 위치하도록 하는게 수술의 주요 평가포인트
어시스트 모드로 진입하여 다자간 협업이 가능하고 종료후 시뮬레이션 수행에 대한 평가 제공계획
•
융합 어플리케이션으로 고도화 : 동영상서비스와 XR콘텐츠 가상교육 시뮬레이션이 독립적으로 개발되어 이를 하나로 융합하는 어플리케이션 통합작업 필요, 가상환경에 미디어 스트림이 제공되는 형태로 개발 하였고 몰입감을 극대화할수 있는 인터페이스
•
환자데이타기반 가상장기생성 : 환자의 CT,MRI 데이타기반 볼륨렌더링 가상데이타생성, Dicom 경량화이슈, 과도한 생성시간을 줄이기 위한 Generative AI 기술 적용구현예정 >> 실제 환자데이타를 기반으로 함으로써 수술리허설 효과 극대화
뇌실의 모양은 사람마다 조금씩 다르다
교육의 효과를 높이기 위해 두개골 천공, 좌우 블러딩, Drain cock 연결액션등을 추가하였다
시뮬레이션 개발과정에서 생각보다 많은 리소스가 들어 고민이 많아졌다 다만 이러한 고민은 본사만의 것은 아니라 생각한다 결국 모든 술기시뮬레이션을 보다 근사하게 개발하는것은 너무 비용이 많이드는 일이고 결국 자연 생성되는 실제 수술영상을 기반으로 가상의 액션을 추가하는 형태로 진화할것이라는 결론이다
비디오를 기반으로 진화된 평가기술을 개발하는것이 필요하다 AI 모델을 기반으로 다양한 테스트 연구개발 이뤄져야 할것이고 멀티모달이 정확도를 보정하는 매개체가 될것이다
>> 의견. 애플이 Meta 와 달리 ‘공간컴퓨팅’ 에서 보여준 비디오소비의 미래도 그러하였다 가상의 현실이라는 접근보다 훨씬 현실적이고 Reasonable 하다
보수적으로 접근한것 아닌가 싶었지만 제작소요를 고려한 현실적인 접근이다
비판적인 전망도 있지만 궁극은 HMD로 모두 가게될것이다 훨씬더 가볍고 저렴한 장비가 2,3년이내 나올것이고 (어쩌면 그보다 빨리) 지하철에서 스마트폰을 보고 고개를 숙인모습이 익숙한 풍경이 되었듯이 모든사람이 HMD를 착용하고 있을날이 그리 머지않았다
