테스팅에 관한 모든것

AI 테스트를 하다 보면 이런 순간이 옵니다.“이거… 버그야? 아니면 원래 이런 거야?”같은 입력을 넣었는데 결과가 조금 다릅니다.다시 실행하면 또 다릅니다.보고하려고 하면 돌아오는 말은 한 문장 “AI라서 원래 그래요.” QA 입장에서는 제일 곤란한 상황이죠.틀렸다고 하기도 애매하고, 맞다고 하기도 애매하고.애매함이 반복됩니다.​그런데 이건 QA 역량 문제가 아닙니다.AI가 말을 안 듣는 것도 아닙니다.전제가 다르기 때문입니다. ​​​전통적 시스템 vs AI 시스템​ 기존 소프트웨어는 규칙 기반입니다. 사람이 로직을 짭니다 🧑‍💻입력 → 출력이 비교적 명확합니다 ✔왜 그런 결과가 나왔는지 추적 가능합니다 🔍​그래서 테스트도 명확합니다.요구사항이 있고,기대값이 있고,Pass / Fail이 ..

요즘 AI 이야기의 중심이 조금 달라지고 있습니다. ​"얼마나 똑똑한가?”에서 ➡️ “얼마나 믿을 수 있는가?”로요.​자율주행 , 의료 , 금융 , 공공 서비스처럼 AI가 사람의 안전과 권리에 직접적인 영향을 미치는 영역이 늘어나면서,AI의 판단 그 자체보다 ‘어떤 데이터로 판단했는가’가 더 중요해지고 있습니다.​아무리 성능 좋은 알고리즘이라도📉 데이터가 부정확하거나📉 기준이 들쭉날쭉하다면AI 결과를 신뢰하기는 어렵겠죠. ​이런 배경 속에서 ISO와 IEC는 AI와 데이터, 소프트웨어 품질을 체계적으로 평가할 수 있는 국제표준을 제정해 왔고, 최근 특히 주목받는 표준이 바로 ISO/IEC 5259-2와 ISO/IEC 25024입니다. ​ISO/IEC 5259-2는AI 시스템에서 활용되는 데이터..

날마다 발전하는 기술 속에서 소프트웨어는 우리 삶의 필수 요소가 되었고, 그만큼 품질 관리의 중요성도 커지고 있습니다. 이러한 품질 관리의 체계와 성숙도를 평가하는 글로벌 표준이 바로 TMMi(Test Maturity Model integration)입니다. 특히 국내 소프트웨어 품질 관리 역량을 한 단계 끌어올리는 데 중요한 역할을 해온 STA테스팅컨설팅은 2011년 아시아 최초로 TMMi 공식 심사 자격을 획득하며 그 전문성을 입증했습니다. 오늘은 STA테스팅컨설팅이 함께한 실제 사례들을 통해 TMMi 레벨 2, 3, 4가 의미하는 바는 무엇인지, 그리고 국내 기업들이 어떻게 세계적인 수준의 소프트웨어 품질을 달성했는지 살펴보겠습니다. TMMi Level 2: 기본 테스트 관리의 시작TMMi 레벨 ..

테스트 케이스를 모두 수행했는데도 릴리즈 이후 새로운 버그가 발견되는 경우, 의외로 흔합니다.QA를 하다 보면 이런 말도 자주 듣게 되죠. “테스트 다 했잖아요. 근데 왜 이런 버그가 나왔죠?”이 질문이 나오는 이유는 명확합니다.테스트 케이스는 결국 ‘예상한 시나리오’만 검증하기 때문입니다.문제는 사용자가 우리가 생각한 대로만 움직여주지 않는다는 점이죠 😅 버튼을 다른 순서로 누르고, 중간에 화면을 나갔다 들어오고, 개발자가 의도하지 않은 타이밍에 입력을 합니다.이렇게 문서 밖에서 벌어지는 행동들은 테스트 케이스만으로는 잡기 어렵습니다.그래서 필요한 것이 탐색적 테스팅(Exploratory Testing)입니다. 탐색적 테스팅(Exploratory Testing)탐색적 테스팅은 테스트 케이스를 미리..

AI가 적용된 시스템을 테스트하다 보면 이런 순간이 찾아옵니다.​💭 “이 결과가 틀린 걸까, 아니면 원래 이런 걸까?”​같은 입력을 반복해서 넣었는데 결과가 조금씩 달라지고,테스트 결과를 정리해 보고하려 하면“AI라서 어쩔 수 없다”는 말이 자연스럽게 따라옵니다.​하지만 QA 입장에서 이 한마디는 꽤 곤란합니다.테스트란 결국 기준을 세우고, 판단하고, 설명하는 일이기 때문입니다.기준이 흐릿해질수록 QA의 역할도 함께 흔들리게 됩니다.​흥미로운 점은,기존 기능 테스트 경험이 많은 QA일수록 AI 테스트를 더 애매하게 느끼는 경우가 많다는 것입니다.​전통적인 소프트웨어에서는📌 요구사항이 명확했고📌 기대 결과가 비교적 분명했으며📌 결과를 로직 단위로 추적할 수 있었습니다​그래서 테스트의 목적과 판단 기..

안녕하세요! 소프트웨어의 품질을 높이고 고객사의 가치를 증명하는 최고의 파트너, STA Testing Consulting입니다. 공공기관 우선 구매 대상 선정이나 조달청 등록을 목표로 하는 SW 기업이라면 반드시 넘어야 할 산이 있습니다. 바로 GS인증입니다. 하지만 막상 인증을 준비하다 보면 시작부터 난관에 봉착하게 됩니다.​"우리 제품은 어느 기관에 접수해야 유리할까?" "인증서가 나올 때까지 시간은 얼마나 걸릴까?"​특히 제품 출시 일정이 정해져 있는 경우, 인증 소요 시간은 비즈니스의 성패를 가를 만큼 중요한 요소입니다. ​오늘은 담당자분들이 가장 궁금해하시는 GS인증 기관별 특징과 인증 소요 기간에 대한 진실, 그리고 2025년 기준 누적 80건의 실적을 달성한 STA만의 독보적인 노하우를 공..

자동화가 잘하는 일과 사람이 잘하는 일은 분명히 다릅니다 이 차이를 이해하는 순간, 조직의 품질 전략은 완전히 달라집니다. 테스트 자동화는 QA의 미래이자 필수 기술입니다. 하지만 그렇다고 해서 사람의 역할이 사라지는 것은 아닙니다. 오히려 자동화와 사람이 각자 잘하는 영역을 명확히 구분할 때, 품질은 훨씬 더 강해집니다. 1) 사용자 경험 기반 판단 (UX 관점) 자동화 테스트는 “버튼이 눌렸는지”, “화면이 전환됐는지” 같은 사실을 기록합니다.반면 사람은 이런 질문을 던집니다.사용자는 이 버튼을 쉽게 찾을 수 있을까?문구는 직관적으로 이해될까?전체 흐름이 자연스럽고 불편함은 없을까?‘동작하는지’가 아니라 ‘사용할 수 있는지’를 판단하는 일은 사람만이 할 수 있는 영역입니다. . 2. 예측..

현장에서 자주 나오는 말이 있어요.“테스트 일정이 왜 이렇게 빡빡하죠?”, “결함이 왜 이렇게 늦게 발견됐죠?”하지만 이 문제의 핵심은 테스터의 역량 부족이 아니라 ‘관리의 구조’에 있어요. 테스트는 개발이 끝난 뒤 마지막에 ‘돌려보는 절차’가 아니라, 처음부터 끝까지 이어지는 하나의 관리 사이클(Test Management Cycle) 입니다. 이걸 이해하면 테스트 효율과 품질 모두 눈에 띄게 달라져요.​🧭 1) 테스트 계획 : 품질의 방향을 세운다테스트 관리의 시작은 바로 테스트 계획(Test Plan) 입니다.여기에는 무엇을 테스트할지, 어떤 리스크가 있는지, 얼마나 노력이 필요한지가 담겨요.테스터는 반복 주기(스프린트)와 릴리스 계획을 고려해 “어떻게 제품 가치에 더 기여할까?”를 결정합니다. ..

프로젝트에서 QA가 가장 힘들어하는 질문이 있습니다. “테스트 기간 얼마나 필요하세요?”“대충 2주 정도면 되지 않을까요?” 이 질문에 “2주면 될 것 같아요” 라고 답하는 순간,QA는 협상력을 잃습니다.‘감각’으로 이야기하는 순간 일정은 누가 더 목소리가 큰가의 문제가 되어버리죠. 하지만 이렇게 답하면 상황이 달라집니다. “이번 테스트는 67개 작업, 총 120시간이 필요합니다.” 이 말은 요구가 아니라 증명입니다.그리고 그것을 가능하게 하는 도구가 바로 QA WBS입니다. WBS는 단순히 해야 할 일을 나열하는 문서가 아닙니다.QA가 품질을 위해 필요한 시간을 논리적으로 설명하는 가장 강력한 수단입니다. - 왜 2주가 필요한지- 어떤 작업이 쌓여 있는지- 어떤 테스트가 병렬 진행 불가한지개발..

소프트웨어 테스팅 전문기업 STA테스팅컨설팅(이하 STA)이 인공지능(AI) 시스템의 신뢰성과 안전성을 검증하는 국제표준 ISO/IEC TS 42119-2 제정에 핵심적인 역할을 수행하며, AI 품질 검증 분야의 글로벌 리더십을 다시 한번 입증했다. 이번 표준은 인공지능 테스트 절차와 방법론을 정의한 세계 최초의 AI 테스팅 국제표준으로, 지난 11월 ISO/IEC JTC1에서 공식 제정됐다.이번 표준 제정은 전 세계 여러 전문가들이 5년간 공동으로 추진한 결과물이다. STA의 스튜어트 리드(Stuart Reid) 박사가 표준의 메인 에디터로 참여해 AI 시스템의 특성과 위험 요소를 반영한 테스트 구조와 절차를 체계적으로 정립했다. 리드 박사는 소프트웨어 테스트 표준(ISO/IEC/IEEE 29119 시..