‘2026 첨단AI 의료제품 레드팀 챌린지 및 기술 워크숍’ 성황리 마무리

첨단 의료 AI 보안·안전성 검증의 새로운 가능성을 확인하다

의료 AI의 안전성과 신뢰성을 실제 환경에서 점검하는 ‘2026 첨단AI 디지털의료제품 레드팀 챌린지 및 기술 워크숍’이 지난 9월 3일(목)부터 4일(금)까지 노보텔 앰배서더 서울 동대문 그랜드볼룸에서 진행됐습니다.

이번 행사는 국가인공지능전략위원회 이원태 보안특별위원장이 대회장을 맡아 진행했으며, 한국전자통신연구원(ETRI), 분당서울대학교병원, ㈜STA테스팅컨설팅, 한국화학융합시험연구원(KTR)이 공동 주관했습니다.

특히 이번 행사에서는 ㈜STA테스팅컨설팅이 자체 개발한 ‘생성형 AI 디지털의료제품 레드팀 챌린지 플랫폼’이 운영 인프라로 처음 가동돼, 실제 챌린지 환경에서 활용됐습니다.

​

국내외 대표 LLM 12종을 대상으로 진행된 레드팀 챌린지

행사 첫째 날에는 의료 AI의 안전성과 보안 취약성을 실제로 점검하는 레드팀 챌린지가 진행됐습니다.

산업계와 공공기관, 의료계, 학계 등 다양한 분야의 참가자들이 한자리에 모여 총 6개 세션에 걸쳐 실제 공격을 수행했습니다.

이번 챌린지의 대상 시스템은 UpStage Solar, OpenAI GPT, Google Gemini, Anthropic Claude, 의료 특화 MedGemma 등 국내외 대표 LLM 12종으로 구성됐습니다.

여러 생성형 AI 모델을 대상으로 다양한 방식의 공격을 시도하며, 의료 AI가 실제 환경에서 어떤 위험 요소를 가질 수 있는지 점검하는 과정이 진행됐습니다.

 

 

STA테스팅컨설팅 자체 개발 ‘레드팀 챌린지 플랫폼’ 첫 가동

이번 챌린지에서 특히 주목할 부분은 ㈜STA테스팅컨설팅이 정부 출연 R&D 과제로 개발한 ‘생성형 AI 디지털의료제품 레드팀 챌린지 플랫폼(challenge.medrtc.kr)’이 운영 인프라로 처음 가동됐다는 점입니다.

플랫폼에는 자체 분류체계인 MedRTC-TAX-v2.0의 8개 대분류와 MODEL·MULTIMODAL·AGENTIC·MCP 등 6개 시험 모드에 걸친 시드질문 807개가 탑재됐습니다.

평가에는 사람 심사위원 3명과 LLM-as-a-Judge 2명이 함께 참여했으며, 총 5명 가운데 3명 이상이 승인한 경우 공격 성공으로 판정하는 방식으로 운영됐습니다.

실제 참가자들의 공격과 평가 과정에서 플랫폼이 활용되면서, 생성형 AI와 의료 AI를 대상으로 한 레드팀 테스팅을 실제 환경에서 운영할 수 있는 기반을 확인할 수 있었습니다.

 

의료 AI의 안전과 보안을 논의한 기술 워크숍

둘째 날인 9월 4일에는 첨단 의료 AI의 안전성과 보안, 규제 및 평가 기술을 주제로 기술 워크숍이 진행됐습니다.

워크숍은 박태웅 녹서포럼 의장이자 국가인공지능전략위원회 공공AX 분과장의 기조강연을 시작으로, 삼성서울병원 정규환 센터장의 Physical AI 안전 테스팅 발표와 싱가포르 HSA(Health Sciences Authority)의 AI 의료기기 규제 프레임워크 발표가 이어졌습니다.

이후에는

• 규제 및 가이드
• 첨단 의료 AI 안전 및 보안
• 첨단 의료 AI 제품 평가

총 3개 세션을 중심으로 다양한 발표가 진행됐습니다.

각 세션에는 서울대, 동국대, KISA, 서울아산병원, AWS, ETRI 등 국내외 전문가들이 참여해 의료 AI의 안전성과 보안을 둘러싼 최신 기술과 규제 동향을 공유했습니다.

 

의료 AI를 넘어 다양한 AI 분야의 안전성 검증으로

생성형 AI와 의료 AI의 활용 범위가 빠르게 넓어지는 만큼, 단순히 성능만 확인하는 것을 넘어 안전성, 신뢰성, 보안까지 함께 검증하는 과정의 중요성도 커지고 있습니다.

이번 행사는 다양한 생성형 AI 모델을 실제 레드팀 방식으로 점검하고, 의료 AI의 안전성과 보안에 대한 기술적·제도적 논의를 함께 나눌 수 있었던 자리였습니다.

특히 ㈜STA테스팅컨설팅이 자체 개발한 레드팀 챌린지 플랫폼이 실제 대회 운영에 처음 활용되면서, 향후 의료 AI를 비롯한 다양한 AI 응용 분야로 활용 범위를 넓혀갈 수 있는 가능성도 확인할 수 있었습니다.

㈜STA테스팅컨설팅 관계자는

“자체 개발 레드팀 챌린지 플랫폼이 실전에서 안정적으로 작동함을 입증한 자리로, 향후 의료 AI 제품뿐 아니라 다양한 응용 분야에서 AI 레드팀 테스팅 상시화를 비롯해 첨단 AI 시대 사이버 복원력 확보에 기반이 되는 신뢰성·안전성 시험평가 체계로 확장해 나갈 것”이라고 밝혔습니다.

 

이미지를 클릭하면 문의하기 페이지로 이동합니다.