테스팅에 관한 모든것

QA가 데이터 품질을 봐야 하는 이유 – “모델은 같은데 왜 결과가 계속 달라질까요?” AI 서비스를 테스트하다 보면 이런 경험이 한 번쯤 있으셨을 겁니다.같은 모델인데 테스트할 때마다 결과가 달라진다 어떤 데이터에서는 정확도가 높고, 다른 데이터에서는 급격히 떨어진다 모델 문제인지, 테스트 데이터 문제인지 판단이 어렵다 QA 입장에서는 이런 질문이 자연스럽게 나옵니다. 이거… 모델 문제인가요, 데이터 문제인가요? 이 질문의 답은 대부분 데이터에 있습니다. AI 성능은 왜 데이터에 좌우될까? 전통적인 소프트웨어에서는 결과 품질이 주로 코드 품질에 의해 결정됩니다.하지만 기계학습 기반 AI 시스템에서는 다릅니다. AI는 데이터를 통해 패턴을 학습하고 그 패턴으로 결과를 만들어내는 구조​입니..

​ “이거… QA가 꼭 알아야 하나요?”AI 기반 서비스를 테스트하다 보면 QA가 자주 듣는 말이 있습니다.​“이 모델은 지도학습이에요.”“비지도학습이라 기준 잡기 어려워요.”​설명을 듣고 고개는 끄덕였지만, 막상 테스트를 설계하려고 하면 이런 고민이 생깁니다.​기계학습을 모르면 테스트 설계가 어려운 걸까?어디까지 이해해야 QA 역할을 할 수 있을까?​사실 QA가 알고리즘을 구현할 필요는 없습니다. 하지만 어떤 방식으로 학습된 모델인지 이해하지 못하면 테스트 기준 자체가 흔들릴 수 있습니다. AI 시스템은 기존 소프트웨어와 동작 방식이 다르기 때문입니다.​전통적인 소프트웨어는 개발자가 규칙을 만들고, 입력에 따라 항상 같은 결과가 나옵니다. QA는 기대 결과를 기준으로 맞다/틀리다를 판단하면 됩니다...