최근의 트렌드를 따라가며, 소프트웨어 개발의 패러다임이 크게 변화하고 있다. 특히 생성형 AI 기술의 부상은 코딩과 소프트웨어 개발의 방식을 혁신하고 있다. 이러한 변화의 중심에는 코드 생성 도구와 코파일럿, 그리고 다양한 생성형 AI 기능들이 있다. 이들 기술은 품질 확보(QA)와 지속적인 테스트 과정에 새로운 도전과 기회를 제공한다. 그렇다면 QA 프로세스는 이러한 빠른 변화의 속도를 어떻게 따라잡을 수 있을까?

이 질문에 답하기 위해, 필자는 최근 기사 “생성형 AI를 위해 지속적 테스트를 업그레이드하는 3가지 방법”을 통해 몇 가지 핵심 사항들을 제시했다. 이 글에서는 데브옵스 팀과 QA 엔지니어들이 테스트 커버리지를 확장하고, 자동화된 테스트를 늘리며, 코드 개발 속도를 높이기 위해 테스트 데이터 생성의 규모를 확대해야 한다고 강조했다. 또한, 생성형 AI 기능을 통합하는 테스트 플랫폼의 중요성에 대해서도 조언했다.

현재 소프트웨어 테스트 자동화 분야의 선두주자들은 이미 생성형 AI 기능을 통합한 제품들을 시장에 선보이고 있다. 예를 들어, 카탈론(Katalaon)의 AI 중심 테스팅, 트리센티스(Tricentis)의 AI 퀄리티 엔지니어링 솔루션, 람다테스트(LambdaTest)의 테스트 인텔리전스(Test Intelligence), 오픈텍스트(OpenText) UFT 원의 AI 테스트 자동화 기능, 스마트베어(SmartBear)의 테스트컴플릿(TestCompelete) 및 비주얼테스트(VisualTest) 등이 대표적이다.

이러한 환경 속에서 데브옵스 조직과 QA 엔지니어들의 주된 임무는 생성형 AI가 테스트 생산성, 커버리지, 위험 완화 및 테스트 품질에 미치는 영향을 검증하는 것이다. 이를 위해 업계 전문가들은 다음과 같은 다섯 가지 중요한 체크포인트를 제안한다:

코드 증가 시대의 테스트 자동화 전략

생성형 AI가 소프트웨어 개발에 가져온 변화를 이해하고, 이에 따른 테스트 자동화 전략을 개발하는 것은 오늘날 개발자와 QA 엔지니어에게 필수적이다. 맥킨지의 연구 결과에 따르면, 개발자들은 생성형 AI를 통해 코드 작업을 이전보다 훨씬 빠르게 완료할 수 있으며, 이는 자연스럽게 코드의 양 증가로 이어진다. 따라서, QA 프로세스 역시 이러한 속도와 규모의 변화에 발맞춰 진화해야 한다.

코파도(Copado)의 제품 관리 수석 부사장 에스코 하눌라에 따르면, 생성형 AI의 도입으로 인해 테스트 양이 대폭 증가하는 현상이 나타난다. 이는 코드가 더 빨리 생성되고 자주 릴리즈되기 때문이다. 이러한 변화에 대응하기 위해, 테스트 자동화는 필수적인 해결책으로 떠오른다. 생성형 AI는 일반적인 텍스트 사용자 스토리나 테스트 시나리오를 효율적인 테스트 정의로 변환하고, 실행 가능한 테스트 자동화 스크립트를 생성하는 데 크게 기여한다.

이러한 기술의 발전은 제품 소유자, 기업 애널리스트, 개발자들에게 새로운 요구사항을 제시한다. 애자일 사용자 스토리의 품질을 개선하고, 충분한 수용 기준과 업데이트된 코드 링크를 포함해야 한다. 애자일 팀은 생성형 AI로 생성된 테스트 자동화를 고려하여 작업 방식을 조정하고, 요구 사항 수집 및 사용자 스토리 작성 방법을 개선해야 한다.

하눌라는 테스트 순서, 결함 보고, 깨진 테스트의 자동 수정 등 다양한 측면에서 생성형 AI가 가져오는 기회를 강조한다. 이러한 기술적 진보는 개발 프로세스의 효율성을 극대화하고, 소프트웨어의 품질을 향상시키는 데 중요한 역할을 한다.

QA 베스트 프랙티스의 변화와 생성형 AI의 역할

생성형 AI의 발전은 소프트웨어 개발 분야에 많은 혁신을 가져왔다. 개발자 팀은 LLM(Large Language Models)을 활용해 서비스 레벨 목표(SLO)를 설정하고, 사고의 근본 원인 분석 및 다양한 생산성 도구의 개발에 이를 적용하고 있다. 그러나 QA 엔지니어가 자동화로 생산성을 개선하고 테스트 커버리지를 늘리는 과정에서, 생성형 AI가 기업 수준에서 의미 있는 테스트 시나리오를 생성하고 위험을 줄일 수 있는지 여부는 아직 명확하지 않다.

이 분야의 전문가들은 생성형 AI가 기존의 베스트 프랙티스를 향상시킬 수는 있지만, 완전히 대체할 수는 없다는 데 무게를 두고 합의하고 있다. 카탈론의 전략 부사장 알렉스 마틴은 “QA에서 중요한 것은 테스트의 정확도와 예측 가능성이며, 동일한 프롬프트에 대해 AI의 응답이 변할 수 있는 점이 숙달되지 않은 영역”이라고 지적했다. 그는 “AI가 테스트 생산성을 증가시키는 매력적인 제안을 하지만, 현실적으로는 테스터들이 테스트 실행보다는 LLM의 결과를 정제하는 데 많은 시간을 소비하는 상쇄 효과에 직면하고 있다”고 덧붙였다. 이는 인간의 전문 지식을 완전히 대체하지 않으면서 AI를 활용하는 균형 잡힌 접근 방식의 필요성을 강조한다.

코파도의 에스코 하눌라는 “인간의 창의력이 AI보다 시스템의 결함을 파악하는 데 우수하다”며, “완전 자동화가 가능하더라도 현재로서는 최선의 방법이 아니다”라고 말했다. 세마포어 CI/CD의 공동 설립자 마르코 아나스타소프는 “AI가 개발자의 생산성을 끌어올리는 데는 기여하지만 품질 평가의 대안이 되지는 않는다”고 지적하며, “강력한 테스트 프랙티스와 자동화의 결합이 AI를 통해 높은 품질과 프로덕션 준비 코드를 생성하는 데 자신감을 줄 것”이라고 덧붙였다.

생성형 AI와 테스트 자동화가 테스트 스크립트 작성에 도움이 될 수 있지만, 무엇을 테스트할지 결정하는 재능과 전문 지식은 QA 엔지니어에게 더 중요한 일이 될 것이다. 생성형 AI의 테스트 생성 기능이 발전함에 따라, QA 엔지니어는 테스트 스크립트 코딩보다는 시프트 레프트, 위험 완화 및 테스트 전략에 더 집중해야 할 것이다.

효율적인 코드 변경 피드백: 생성형 AI의 역할

소프트웨어 개발의 세계에서 QA는 점점 더 전략적인 위험 완화 기능으로 자리 잡고 있다. 이러한 환경에서 애자일 개발 팀은 단순히 생산성과 테스트 커버리지를 넘어서, 생성형 AI의 기능을 어떻게 찾고 검증할 수 있을까? 특히, 생성형 AI가 코딩의 결함이나 기타 문제를 신속하게 발견하는 능력은 중요한 지표로 부상하고 있다. 개발자들은 CI/CD 파이프라인에 방해를 주거나 프로덕션 문제를 일으키기 전에 이러한 문제들을 해결할 수 있어야 한다.

퍼시스턴트 시스템(Persistent Systems)의 수석 데이터 과학자 다타라즈 라오는 이러한 전환에 대해 말했다. “CI/CD 파이프라인과 통합된 생성형 AI는 지속적이고 빠른 테스트를 보장하며, 코드 변경 시 즉각적인 피드백을 제공한다”라고 그는 언급했다. 라오는 생성형 AI가 결점을 식별하고, UI를 분석하며, 테스트 스크립트를 자동화하는 능력을 통해 소프트웨어 QA의 미래를 형성하는 혁신적 촉매로서의 역할을 강조했다.

생성형 AI를 사용하여 얻은 신속한 피드백은 전체 스택 테스트 전략을 아직 완전히 구현하지 않은 데브옵스 팀에 새로운 기회를 제공한다. 예를 들어, 팀은 자동화된 단위 및 API 테스트를 실행할 수 있지만, UI 수준의 테스트가 제한적이거나 오류 탐지를 위한 테스트 데이터가 부족할 수 있다. 이러한 상황에서 데브옵스 팀은 테스트 자동화 플랫폼에 결합된 생성형 AI 기능을 검증하여 테스트 범위를 확장하고, 피드백을 신속하게 제공함으로써 이러한 격차를 줄일 필요가 있다.

아메리카 IFS의 CTO 케빈 밀러는 생성형 AI의 잠재력에 대해 언급했다. “생성형 AI는 자동화, 테스트 데이터, 시나리오, 스크립트 생성 및 이상 징후 탐지 등 다양한 테스트 최적화를 통해 지속적인 테스트를 혁신했다”며, “이를 통해 개발 파이프라인을 통한 소프트웨어 변경 사항을 보다 철저하고 효율적으로 검증할 수 있게 되었다”고 말했다.

테스트 시나리오 강화를 위한 생성형 AI의 역할

생성형 AI는 테스트 사례를 수적으로 늘리고 문제를 신속하게 찾아내는 것을 넘어서 테스트 시나리오의 효율성과 정확성을 개선하는 데 큰 기여를 할 수 있다. 팀은 생성형 AI를 활용하여 각 테스트 시나리오의 범위를 확장하고, 정확성을 높여 지속적인 테스트 발전을 이끌어내야 한다.

마스텍(Mastek)의 CTO 겸 혁신 책임자 리트위크 바타비알은 이러한 접근 방식에 대해 강조했다. “생성형 AI는 실시간 애플리케이션 변경에 기반한 테스트 시나리오를 자동으로 발전시키며, 적응형 학습을 통해 지속적인 테스트에 혁신을 가져왔다. 지능형 패턴 인식, 다이내믹 파라미터 적응, 취약점 발견과 같은 스트림라인 테스트는 수동 개입을 줄이고, 주기를 단축하며 소프트웨어의 견고함을 향상시켰다”라고 말했다. 바타비알은 LLM과의 통합을 통해 테스트 시나리오 생성의 맥락을 이해하고, 자동화의 정확성과 지속적인 테스트의 효율성을 향상시키며, 테스트 역량에서의 패러다임 변화를 이끌었다고 설명했다.

자연어 쿼리 인터페이스, 프롬프트 및 LLM을 내장한 애플리케이션을 지원하는 테스트 시나리오 개발은 QA에 있어 기회이자 도전이다. 이러한 신기능이 도입됨에 따라 테스트 자동화는 매개 변수화된 키워드 입력에서 프롬프트 기반으로 전환되는 업데이트가 필요하며, 테스트 플랫폼은 LLM 응답의 품질과 정확성을 검증할 수 있어야 한다.

LLM 기반 테스트는 새로운 기능이지만, 테스트 시나리오의 범위와 정확도를 개선하는 데 필요한 정확한 데이터를 확보하는 것은 현재의 중요한 과제이며, 자연어 사용자 인터페이스 검증의 필수 요소다.

SADA 솔루션 엔지니어링의 이사 헤더 선드하임은 “생성형 AI는 자동 테스트 사례 생성, 동적 스크립트 적응, 버그 탐지 등의 발전을 제공하지만, 성공적인 구현은 기업이 데이터의 무결성과 최적화를 보장하는 데 달려 있다”고 말했다. 그는 또한 “테스트에서 생성형 AI를 도입하여 새로운 트렌드의 이점을 완전히 활용하기 위해서는 데이터 품질에 대한 고려가 필요하다”고 제안했다.

지속적인 발전을 거듭하는 생성형 AI

현대의 데브옵스 팀은 생성형 AI 도구의 지속적인 발전을 인식하고 이에 적응해야 한다. 자연어 인터페이스를 애플리케이션에 통합하고, 코드 생성 및 테스트 자동화를 진행하는 과정에서, 이러한 도구들의 역량이 계속 진화할 것임을 이해하는 것이 중요하다. 가능한 경우, 데브옵스팀은 생성형 AI 도구를 사용하는 애플리케이션과 플랫폼 간의 인터페이스에 추상화 계층을 구축하여 미래의 변화에 대비해야 한다.

런치다클리(LaunchDarkly)의 엔지니어링 수석 부사장 조나단 놀런은 산업 변화의 속도에 대해 언급했다. “산업의 변화 속도는 놀라울 정도이며, 현재 최고의 도구가 내년에도 여전히 최고일 것이라고 단언할 수 없다. 팀은 모델이나 프롬프트 등을 쉽게 교체함으로써, 소프트웨어를 완전히 새로 작성하지 않고도 미래 전략을 수립할 수 있다”고 설명했다.

이러한 맥락에서, 테스트 자동화 플랫폼과 정적 코드 분석 도구의 발전도 기대할 수 있다. 이러한 도구들은 AI가 생성한 코드를 테스트하는 능력을 향상시킬 것으로 예상된다.

포어소트(Forethought)의 CTO 겸 공동 설립자 새미 고크는 생성형 AI의 영향력에 대해 언급했다. “생성형 AI는 지속적인 자동화 테스트에 깊고 다양한 영향을 미칠 것이며, 코파일럿과 코드 생성기가 만든 코드를 테스트하고 평가하는 데 중요하다. 또한 LLM의 개발, 임베딩 및 기타 작업을 테스트하는 데 중요한 역할을 할 것”이라고 말했다.

생성형 AI는 과대 광고와 기대, 그리고 영향력 있는 비즈니스 결과의 중심에 있다. 이제 QA는 기능을 검증하고 위험을 줄이며, 기술이 정의된 품질 표준 안에서 변경되는 것을 보장하는 중요한 역할을 담당해야 한다. 다음에는 이러한 변화가 QA에 미치는 구체적인 영향과 팀이 어떻게 적응해야 하는지도 더 깊이 알아 볼 예정이다.