애플리케이션 테스트 관리 - 애플리케이션 테스트 케이스 작성

애플리케이션 테스트 케이스 작성

 

1. 소프트웨어 테스트 이해

 

 1) 소프트웨어 테스트 개념

 - 소프트웨어 테스트란 개발된 응용 애플리케이션이나 시스템이 사용자가 요구하는 기능과 성능, 사용성, 안정성 등을

 

   만족하는지 확인하고, 노출되지 않은 숨어있는 소프트웨어 결함을 찾아내는 활동.

 

 2) 소프트웨어 테스트 필요성

 

 - 소프트웨어 테스트는 오류 발견 관점, 오류 예방 관점, 품질 향상 관점에서 필요

 

 * 발예향

 

오류 발견, 예방, 품질 향상

 

 

 3) 소프트웨어 테스트의 기본 원칙

 

  (1) 소프트웨어 테스트 원리

 

  * 결완초집 살정오 

원리	설명
결함이 존재함을 밝히는 것	- 결함이 존재함을 밝히는 활동 - 결함이 없다는 것을 증명할 수는 없음 - 결함을 줄이는 활동
완벽한 테스팅은 불가능	- 완벽하게 테스팅하려는 시도는 불필요한 시간, 자원낭비 - 무한경로, 무한 입력값으로 인한 테스트 어려움
개발 초기에 테스팅 시작	- 조기 테스트 설계 시 장점 : 테스팅 결과를 단시간에 알 수 있고 테스팅 기간 단축, 재작업을 줄여 개발 기간 단축 및 결함 예방
결함집중	- 적은 수의 모듈에서 대다수의 결함 발견 - 20의 모듈에서 80프로의 결함이 발견 됨
살충제 패러독스	- 동일한 테스트 케이스에 의한 반복적 테스트는 새로운 버그를 찾지 못함 - 테스트 케이스의 정기적 리뷰와 개선 및 다른 시각에서의 접근이 필요
정황에 의존적	- 소프트웨어의 성격에 맞게 테스트 실시 - 정황과 비즈니스 도메인에 따라 테스트를 다르게 수행
오류-부재의 궤변	- 요구사항을 충족시켜주지 못한다면, 결함이 없다고해도 품질이 높다고 볼 수 없다.

 

  (2) 소프트웨어 테스트 프로세스

 

 - 일반적인 테스트 프로세스는 테스트 계획, 테스트 분석, 테스트 디자인, 테스트 케이스 및 시나리오 작성,

 

    테스트 수행, 테스트 결과 평가 및 리포팅 

 

  (3) 소프트웨어 테스트 산출물

 

 - 테스트 계획서, 테스트 케이스, 테스트 시나리오, 테스트 결과서

산출물	설명
테스트 계획서	테스트 목적과 범위 정의, 대상 시스템 구조 파악, 테스트 수행 절차, 테스트 일정, 조직의 역할 및 책임 정의, 종료 조건 정의 등 테스트 수행을 계획한 문서
테스트 케이스	테스트를 위한 설계 산출물로 응용 소프트웨어가 사용자의 요구사항을 준수하는지 확인하기 위해서 설계된 입력값, 실행 조건, 기대 결과로 구성된 테스트 항목의 명세서
테스트 시나리오	테스트 수행을 위한 여러개 의테스트 케이스의 집합으로 테스트 케이스의 동작 순서를 기술한 문서이며, 테스트 절차를 명세한 문서
테스트 결과서	테스트 결과를 정리한 문서로 테스트 프로세스를 리뷰하고 테스트 결과를 평가하고 리포팅 하는 문서

 

 

2. 소프트웨어 테스트 유형

소프트웨어 테스트 유형은 프로그램 실행 여부, 테스트 상세 기법, 테스트에 대한 시각, 테스트의 목적, 테스트의

 

종류에 따라 분류

 

1) 프로그램 실행 여부에 따른 분류

분류	설명	유형
정적 테스트	프로그램의 실행 없이 구조를 분석하여 논리성을 검증하는 테스트	동료 검토, 워크스루, 인스펙션
동적 테스트	프로그램 실행을 요구하는 테스트	화이트박스, 블랙박스 테스트

 

2) 테스트 기법에 따른 분류

 

 - 화이트 박스 / 블랙 박스 테스트로 나뉨

 

 

 (1) 화이트 박스 테스트

 

- 프로그램 내부 로직을 보면서 수행하는 테스트(구조 테스트)

 

- 화이트박스 테스트는 내부 구조를 기반으로 문장 검증, 경로 검증 등을 수행

유형	설명
제어 구조 테스트	소프트웨어의 논리적 복잡도 측정 후 수행 경로들의 집합을 정의
루프 테스트	프로그램의 루프 구조에 국한해서 실시하는 테스트

 

- 화이트 박스 테스트는 구조 테스트라고도 하며, 구문 커버리지, 결정 커버리지, 조건, 조건/결정 커버리지,

 

  변경 조건/결정 커버리지, 다중 조건 커버리지 테스트를 포함

 

 (2) 블랙박스 테스트

 

- 프로그램 외부 사용자의 요구사항 명세를 보면서 수행하는 테스트(기능 테스트)

 

- 블랙박스 테스트 유형에는 경계값 분석, 결정 테이블 테스트, 상태전이 테스트

 

*동경결상 유분페

 

동등 분할 테스트

 

경계값 분석 테스트

 

결정 테이블 테스트

 

상태전이 테스트

 

유스케이스 테스트

 

분류 트리 테스트

 

페어와이즈 테스트

 

유형	사례	설명
동등 분할 테스트		유효 값/무효 값을 그룹핑하여 대표 값 테스트 케이스를 도출하여 테스트
경계값 분석 테스트		등가분할 후 경계값 부분을 테스트
결정 테이블 테스트		요구사항의 논리와 발생조건을 테이블 형태로 나열하여, 조건과 행위를 모두 조합하여 테스트
상태전이 테스트		테스트 대상/시스템이나 객체의 상태를 구분하고, 이벤트에 의해 어느 한 상태에서 다른 상태로 전이 되는 경우의 수를 수행하는 테스트 기법
유스케이스 테스트		시스템이 실제 사용되는 유스케이스로 모델링 되어 있을 때 프로세스 흐름을 기반으로 테스트 케이스를 명세화하여 수행하는 테스트 기법
분류 트리 테스트		SW의 일부 또는 전체를 트리 구조로 분석 표현하여 테스트 케이스를 설계
페어와이즈 테스트		Test Data 값들 간에 최소한 한 번씩을 조합하는 방식, 이는 커버해야 할 기능적 범위를 모든 조합에 비해 상대적을 ㅗ적은 양의 테스트 세트를 구성하기 위한 테스트 기법

 

(3) 테스트 시각에 따른 분류

분류	설명
검증(Verification)	- 소프트웨어 과정을 테스트 - 올바른 제품을 생산하고 있는지 검증 - 이전 단계에서 설정된 개발 규격과 요구를 충족시키는지 판단 - 개발자 혹은 시험자의 시각으로 소프트웨어가 명세화된 기능을 올바로 수행하는지 알아보는 과정
확인(Validation)	- 소프트웨어 결과를 테스트 - 만들어진 제품이 제대로 동작하는 확인 - 최종 사용자 요구 또는 소프트웨어 요구에 적합한지 판단 - 사용자 시각으로 올바른 소프트웨어가 개발되었는지 입증하는 과정

 

(4) 테스트 목적에 따른 분류

 

* 회안강성 구회병

 

회복 테스트

안전 테스트

강도 테스트

성능 테스트

구조 테스트

회귀 테스트

병행 테스트

 

분류	설명
회복 테스트	고의로 실패, 정상적 복귀 여부 테스트
안전 테스트	불법적인 소프트웨어가 접근하여 시스템을 파괴하지 못하도록 소스 코드 내의 보안적 결함을 미리 점검
강도 테스트	시스템에 과다 정보량을 부과하여 과부하 시에도 정상 작동되는지
성능 테스트	사용자의 이벤트에 시스템이 응답하는 시간, 특정 시간 내에 처리하는 업무량, 사용자의 요구 사항에 시스템이 반응하는 속도
구조 테스트	시스템의 내부 논리 경로, 소스 코드의 복잡도를 평가
회귀 테스트	회귀 테스트는 오류를 제거하거나 수정한 시스템에서 오류 제거와 수정에 의해 새로이 유입된 오류가 없는지 확인하는 반복 테스트
병행 테스트	변경된 시스템과 기존 시스템에 동일한 데이터를 입력 후 결과를 비교

 

(5) 테스트 종류에 따른 분류

 

분류	설명	유형
명세 기반 테스트	프로그램의 요구사항 명세서를 기반으로 테스트 케이스를 선정하여 테스트	동등 분할, 경계값 분할, 결정 테이블 ,상태전이, 유스케이스, 분류트리, 페어와이즈, 직교분할
구조 기반 테스트	소프트웨어 내부 논리 흐름에 따라 테스트 케이스를 작성하고 확인하는 테스트 기법	제어구조, 루프테스트 구문기반, 결정기반, 조건 기반, 결정/조건기반, 변경조건/결정기반, 다중조건기반 커버리지 테스트
경험 기반 테스트	유사 소프트웨어나 유사 기술 펴악에서 테스터의 경험을 토대로 한, 직관과 기술 능력을 기반으로 수행하는 테스트 기법	탐색적, 오류추정, 체크리스트, 특성 테스트

 

3. 테스트 케이스

 

 - 특정 요구사항에 준수하는 지를 확인하기 위해 개발된 입력값, 실행 조건, 예상된 결과의 집합

 

테스트 케이스 작성 절차

 

테스트 케이스의 정확성, 재사용성, 간결성 보장을 위해 아래의 절차에 따라 작성

 

순서	작성 절차	설명
1	테스트 계획 검토 및 자료 확보	- 테스트 대상 프로젝트 범위와 접근 방법 이해를 위하여 테스트 계획 검토 - 테스트 대상 시스템 자료와 정보를 확보하여, 시스템 요구사항과 기능 명세서 검토
2	위험 평가 및 우선순위 결정	- 결함 해결에 있어 상대적 중요성을 지니는 대상 및 테스트의 초점을 결정
3	테스트 요구사항 정의	- 시스템 요구사항, 테스트 대상 재검토, 테스트할 특성, 조건, 기능을 식별 및 분석
4	테스트 구조 설계 및 테스트 방법 결정	- 테스트 케이스의 일반적 형식을 결정하고, 테스트 케이스 분류 방법을 결정 - 테스트 절차, 장비, 도구, 테스트 문서화 방법을 결정
5	테스트 케이스 정의	- 각 요구사항에 대해 테스트 케이스를 작성하고, 입력값, 실행 조건, 예상 결과를 기술
6	테스트 케이스 타당성 확인 및 유지보수	- 기능 또는 환경변화에 따라 테스트 케이스를 갱신하고, 테스트 케이스의 유용성을 검토

테스트 케이스 필요 항목

 

- 테스트 케이스 작성에 필요한 공통 작성 항목 요소와 개별 테스트 케이스 항목 요소로 나누어 작성

구분	항목	설명
공통	테스트 단계명, 작성자, 승인자, 작성일자, 문서 버전 식별	단위/통합/시스템/인수 테스트 등의 테스트 단계와 테스트 케이스 작성자, 승인자 ,작성 일자, 버전 작성
	대상 시스템 식별	애플리케이션 개발 서버 또는 개발 시스템명 등을 작성
	변경 여부 식별	테스트 케이스 변경 여부 및 변경 사유 등을 식별
	테스트 범위 식별	테스트 대상 애플리케이션의 기능별 테스트 범위 및 업무별 테스트 범위를 식별
	테스트 조직 식별	테스트 케이스 작성 및 테스트 수행을 담당할 조직 식별
개별	테스트 ID 작성	테스트 케이스를 고유하게 식별하기 위한 ID 를 작성
	테스트 목적 설정	테스트 시 고려해야할 중점 사항이나 테스트 케이스의 목적을 달성
	테스트할 기능 요약	애플리케이션의 테스트할 기능을 간략하게 작성
	입력 데이터 작성	테스트 실행 시 입력 데이터(입력값, 선택 버튼, 체크 리스트 값 등)를 작성
	기대 결과 작성	테스트 실행 후 기대되는 결과 데이터(출력 데이터 ,결과 호마ㅕㄴ, 기대 동작 등) 작성
	테스트 환경 설정	테스트 시 사용할 물리적, 논리적 테스트환경, 사용할 데이터, 결과 기록 서버 등의 내용 작성
	전제 조건 설정	테스트 시 사용할 물리적, 논리적 테스트환경, 사용할 데이터, 결과 기록 서버 등의 내용 작성
	성공/실패 기준 설정	테스트를 거친 애플리케이션 기능의 성공과 실패를 판단하는 조건을 명확하게 작성
	기타 요소를 식별하여 설정	사용자의 테스트 요구사항 중 특별히 고려해야 할 내용을 간략하게 기술

 

4. 테스트 오라클

 

테스트의 결과가 참인지 거짓인지를 판단하기 위해 사전에 정의된 참 값을 입력하여 비교하는 기법

 

테스트 오라클 종류

유형	설명
참 오라클	모든 입력값에 대하여 기대하는 결과를 생성함으로써 발생된 오류를 모두 검출할 수 있는 오라클
샘플링 오라클	특정한 몇개의 입력ㄱ밧에 대해서만 기대하는 결과를 제공해주는 오라클
휴리스틱 오라클	샘플링 오라클을 개선한 오라클로, 특정 입력값에 대해 올바른 결과를 제공하고, 나머지 값에 대해서는 휴리스틱(추정) 으로 처리하는 오라클
일관성 검사 오라클	애플리케이션 변경이 있을 때, 수행 전과 후의 결과갑싱 동일한지

* 참샘휴일

 

---

애플리케이션 테스트 시나리오 작성

 

1. 테스트 레벨

 

 - 함께 편성되고 관리되는 테스트 활동의 그룹

 

 - 테스트 레벨의 프로젝트에서 책임과 연관

 

 - 각각의 테스트 레벨은 서로 독립적

 

 (1) 테스트 레벨의 종류

종류	설명	기법
단위 테스트	사용자 요구사항에 대한 단위 모듈, 서브루틴 등을 테스트하는 단계	인터페이스 테스트 자료구조 테스트 실행 경로 테스트 오류 처리 테스트
통합 테스트	단위 테스트를 통과한 모듈 사이의 인터페이스, 통합된 컴포넌트 간의 상호작용을 검증하는 테스트 단계	빅뱅 테스트 상향/하향식 테스트
시스템 테스트	통합된 단위 시스템의 기능이 시스템에서 정상적으로 수행되는지를 검증하는 테스트 단계	기능/비기능 요구사항
인수 테스트	계약상의 요구사항이 만족되었는지 확인하기 위한 테슽	알파/베타 테스트

* 단통시인

 

2. 테스트 시나리오

 

- 테스트 수행을 위한 여러 테스트 케이스의 집합

 

- 테스트 케이스의 동작 순서를 기술한 문서, 테스트를 위한 절차를 명세

 

- 테스트 수행 절차를 미리 정함으로써 설계 단계에서 중요시되던 요구사항이나 대안 흐름과 같은 테스트 항목을 

 

  빠짐없이 테스트

 

 * 테스트 시나로 작성 시 유의점

- 테스트 시나리오 분리 작성 : 테슽 ㅡ항목을 하나의 시나리오에 모두 작성하지 않고, 시스템별, 모듈별, 항목별    테스트 시나리오를 분리하여 작성 - 고객의 요구사항과 설계 문서등을 토대로 테스트 시나리오 작성 - 각 테스트 항목은 식별자 번호, 순서 번호, 테스트 데이터, 테스트 케이스, 예상 결과, 확인 등의 항목을 포함

 

 

3. 테스트 환경 구축

 - 개발된 응용 소프트웨어가 실제 운영 시스템에서 정상적으로 작동되는지 테스트하기 위하여 실제 운영 시스템과

 

  동일한(또는 유사한) 사양의 하드웨어, 소프트웨어, 네트워크 등의 환경 시설을 구축하는 활동

 

 

 (1) 테스트 호나경 구축 유형

유형	설명
하드웨어 기반	- 서버 장비(WAS 서버, DBMS서버), 클라우드 장비(노트북 또는 PC),  네트워크(내부 LAN 또는 공용 인터넷 라인) 장비를 설치하는 작업
소프트웨어 기반	- 구축된 하드웨어 환경에 테스트 할 응용 소프트웨어를 설치하고 필요한 데이터를 구축하는 작업
가상 시스템 기반	- 물리적으로 개발 환경 및 운영 환경과 별개로 독립된 테스트 환경을 구축하기 힘든 경우 사용 - 가상 머신 기반의 서버 또는 클라우드 환경을 이용하여 테스트 환경을 구축하고 VLAN과 같은   기법을 이용하여 논리적 분할 환경 구축

 

(2) 테스트 데이터

구분	설명
개념	- 컴퓨터의 동작이나 시스템의 적합성을 시험하기 위해 특별히 개발된 데이터 집합 - 프로그램의 기능을 하나씩 순번에 따라 확실하게 테스트할 수 있도록 조건을 갖춘 데이터
필요성	- 테스트 수행 시 잘못된 데이터를 사용하면 잘못된 결과가 도축되어 시간을 낭비하고, 비용만 소진하는 결과 - 테스트를 효율적으로 운용하고 데이터의 기밀을 유지하며 신뢰 및 예측 가능한 테스트를 위해 테스트   데이터 준비가 필요
유형	- 선행된 연산에 의해 얻어진 실제 데이터와 인위적으로 만들어진 가상 데이터로 구분
준비	- 실제 데이터는 연산에 의해 준비하거나 실제 운영 데이터를 복제하여 준비 가능 - 가상 데이터는 스크립트를 통해서 생성 가능

 

(3)테스트 조건

구분	설명
테스트 시작 조건	0
테스트 종료 조건
테스트 성공과 실패의 판단 기준