AI란 무엇인가? 왜 이렇게 어렵게 느껴질까? : QA를 위한 AI 개념 한 번에 정리

AI가 적용된 시스템을 테스트하다 보면 이런 순간이 찾아옵니다.

​

💭 “이 결과가 틀린 걸까, 아니면 원래 이런 걸까?”

​

같은 입력을 반복해서 넣었는데 결과가 조금씩 달라지고,

테스트 결과를 정리해 보고하려 하면

“AI라서 어쩔 수 없다”는 말이 자연스럽게 따라옵니다.

​

하지만 QA 입장에서 이 한마디는 꽤 곤란합니다.

테스트란 결국 기준을 세우고, 판단하고, 설명하는 일이기 때문입니다.

기준이 흐릿해질수록 QA의 역할도 함께 흔들리게 됩니다.

​

흥미로운 점은,

기존 기능 테스트 경험이 많은 QA일수록

AI 테스트를 더 애매하게 느끼는 경우가 많다는 것입니다.

​

전통적인 소프트웨어에서는

📌 요구사항이 명확했고

📌 기대 결과가 비교적 분명했으며

📌 결과를 로직 단위로 추적할 수 있었습니다

​

그래서 테스트의 목적과 판단 기준도 비교적 분명했습니다.

하지만 AI 시스템에서는 이 공식이 잘 맞지 않습니다.

이 차이에서 오는 혼란은 QA 개인의 역량 문제가 아니라,

AI라는 대상을 기존 소프트웨어와 동일한 기준으로 이해하려는 데서 발생합니다.

 

 

 

 

❓ Q. AI란 무엇인가? – ISTQB가 정의하는 AI

ISTQB의 AI Testing 실라버스에서는

AI를 단순히 *“사람처럼 생각하는 시스템”*으로 정의하지 않습니다.

ISTQB에서 말하는 AI는 다음과 같습니다.

 

🧠 지식과 기술을 습득하고, 이를 처리하며,

적용할 수 있는 능력을 가진 엔지니어링된 시스템

 

 

QA 관점에서 여기서 가장 중요한 포인트는

▶ AI의 정의가 고정된 개념이 아니라는 점입니다.

​

​

🔄 AI의 정의는 왜 계속 바뀔까? – 인공지능 효과(AI Effect)

​

과거에는 체스를 두는 컴퓨터나

규칙 기반 전문가 시스템도 ‘인공지능’으로 불렸습니다.

​

하지만 기술이 발전하면서 사람들의 기대 수준이 높아졌고,

“그 정도 기능은 이제 AI라고 부르지 않는다”는 인식이 생겨났습니다.

​

이처럼 사회와 기술 환경의 변화에 따라

AI의 정의 자체가 달라지는 현상을

ISTQB에서는 인공지능 효과(AI Effect)라고 설명합니다.

QA 관점에서 이 개념이 중요한 이유는 명확합니다.

​

⚠️ 테스트 대상의 정의가 바뀌면, 테스트 기준도 고정될 수 없기 때문입니다.

​

AI 테스트에서 명확한 ‘정답’을 찾기 어려운 이유는

이미 이 지점에서 시작됩니다.

​

​

Q. 전통적 시스템과 AI 기반 시스템의 차이

​

전통적인 소프트웨어 시스템은

사람이 작성한 규칙과 로직을 기반으로 동작합니다.

입력과 출력의 관계가 비교적 명확하고

결과가 왜 그렇게 나왔는지를 추적하기도 상대적으로 쉽습니다.

​

​

반면 AI 기반 시스템, 특히 기계학습을 사용하는 경우는 다릅니다.

📊 사람이 만든 규칙이 아니라 데이터의 패턴을 기반으로 판단하고

🔁 동일한 입력이라도 학습 데이터·환경·맥락에 따라 결과가 달라질 수 있으며

판단 과정을 코드처럼 단계별로 설명하기 어렵습니다

이 차이로 인해 QA의 역할 역시 달라질 수밖에 없습니다.

​

​

Q. AI 테스트에서 QA가 던지게 되는 질문들

​

AI 테스트에서는

단순히 “기능이 된다 / 안 된다”로 결론을 내리기 어렵습니다.

 

대신 QA는 이런 질문을 하게 됩니다.

​

결과의 변동 범위는 합리적인가?

반복 실행 시 일정 수준의 일관성이 유지되는가?

특정 조건이나 사용자 집단에 편향된 결과는 없는가?

이 결과를 이해관계자에게 설명할 수 있는가?

​

이 지점에서 많은 QA가

기존 테스트 사고방식을 그대로 적용했다가 혼란을 겪게 됩니다 😵‍💫

​

AI 테스트를 이야기할 때 자주 듣는 말들이 있습니다.

“AI도 결국 소프트웨어니까 기존 테스트랑 같지 않나요?”

“테스트 케이스를 충분히 만들면 되지 않나요?”

“정확도만 높으면 문제 없는 거 아닌가요?”

​

하지만 이런 접근은

전통적인 소프트웨어 기준에 머물러 있는 경우가 많습니다.

​

AI 기반 시스템은

입력–출력의 정답 여부만으로 품질을 설명하기 어렵고,

정확도 하나만으로 사용자 신뢰를 판단하기도 힘듭니다.

​

그래서 AI 테스트에서는

✅ 일관성

✅ 신뢰성

✅ 해석 가능성

까지 함께 고려해야 합니다.

​

이 차이를 인식하지 못하면 AI 테스트는 계속 ‘애매한 영역’으로 남게 됩니다.

​

​

AI 테스트의 출발점은

복잡한 알고리즘을 깊이 파고드는 것이 아닙니다.

AI가 전통적인 시스템과 무엇이 다른지를 개념적으로 이해하는 것,

그것이 QA에게 가장 중요한 첫 단계입니다.

​

이 기준이 잡히면 AI 테스트는 막연한 영역이 아니라,

QA가 충분히 판단하고 설명할 수 있는 대상이 됩니다 👍