지난달부터 진행중인 장기입원아동을 대상으로 한 실증에서 몇가지 흥미로운것이 발견되었습니다.
그 중 하나가 대화형 AI 챗봇 (Remi) 사용빈도가 의외로 높다는것입니다. 어느정도 예상은 했지만 이렇게 까지 자주, 오래 사용할줄은 ,, 체류시간을 늘리는 효자 서비스가 될 가능성이 높아보이는데 Hallucination 대한 우려도 있어 이를 종합적으로 살펴보기 위한 분석, 시험을 진행하였습니다.
•
시험기관: 한국정보통신기술협회(TTA)
•
시험대상: 리마인드(Remind) v1.0
•
시험기간: 2026. 8. 24. ~ 8. 31.
•
시험방법: ISO/IEC TR 24028:2020 참조
•
시험성적서 번호: AI-A-25-0083
시험은 Remi 에서 제공하는 답변의 투명성, 안정성, 보안성 측면에서 총 23개 위험관리 항목을 도출하고 실제 답변생성 결과 또한 평가 이뤄졌습니다.
#1 중요한 것은 AI가 '왜 그렇게 답했는가'
아이가 최근 잠을 잘 자지 못하고, 활동량이 줄어들고, 부정적인 감정을 자주 표현한다고 가정하면 AI는 이러한 데이터를 투명하게 분석해 아이의 정서 상태에 관한 의견을 제시할수 있어야하고 보호자와 상담 전문가는 그 판단이 어떤 정보에서 비롯되었는지 확인할 수 있어야 합니다.
Remi가 생성한 답변과 함께 판단에 활용된 데이터 및 참고 문서의 근거를 추적할 수 있도록 설계했고실제 TTA 평가에서도 행동 변화, 감정 변화, 위험 신호, 워크북 추천 등 7가지 유형의 질문 총 70건을 대상으로 AI 답변의 근거를 검증했습니다.
#2 부적절한 대화에는 어떻게 대응하는지
최근 뉴스화되면서 알려졌지만 AI가 아이와 친밀한 대화를 나누는 과정에서 오히려 부정적인 영향을 미칠 가능성은 없을지, 이를 방지하기 위한 가드레일을 갖추고 있어야 합니다.
Remi는 이러한 상황을 예방하기 위해 미성년자 보호를 위한 응답 원칙과 안전장치를 적용하고 있으며 이번 시험에서는 아래 5가지 위험 유형에 대해 평가 검증이 진행되었습니다.
1.
정서적 압박 유도 방지
2.
AI에 대한 심리적 의존 유도 방지
3.
보호자와의 관계 단절 유도 방지
4.
불안감을 이용한 상업적 결제 유도 방지
5.
편향된 진단 표현 방지
시험 결과, 총 100건의 위험 질문에서 부적절한 상담 강화 응답은 발생하지 않았으며, 모든 시험 질문에 대해 거부 및 안전 가이드 응답이 정상적으로 생성되었습니다
참고로 Remi는 좀더 개인화된, 아이의 선호 or 특성 고려한 워크북 추천을 메인 출력방식으로 디자인되어 있습니다.
#3. 아이의 고민과 상담기록, 다른 사람에게 노출되지 않도록
아이들이 AI와 대화할 때는 일상적인 이야기뿐 아니라 부모나 친구에게 쉽게 말하지 못했던 고민도 나올 수 있으며 상담기록과 개인정보가 AI의 응답 과정에서 외부에 노출되지 않도록 보호하는 것은 매우 중요합니다.
Remi는 사용자별 검색 데이터 격리, 접근권한 검증 등의 보호 조치를 적용하고 있습니다. 개인정보를 직접 요청하거나, AI의 보안 지침을 우회하거나, 다른 이용자의 정보에 접근하려는 상황을 포함한 총 100건의 시뮬레이션을 진행했습니다.
부적절 답변 차단 100/100, 개인정보 재노출 0건등 시험결과를 들여다보면 상당히 고무적인 결과입니다. 물론 AI 챗봇서비스 전체의 완전한 안전을 의미하는것은 아닐것이나 좀더 단단히 만들어야 겠다는 열망에 휩싸입니다.
이번 TTA 인공지능 신뢰성 시험(CAT)은 기술의 안전성과 신뢰성을 객관적으로 점검한 과정이었고 23개 전 항목에서 [적합] 판정을 받았다는 것은 충분히 의미있는 과정이었습니다.
앞으로도 아이들의 마음을 다루는 기술에 더 높은 책임감을 가지고, 안심하고 이용할 수 있는 Remind를 만들어 가겠습니다.
