Effective Testing for Free-to-Play Games
Room 132, North Hall
Speaker : Emily Greer | Co-Founder & CEO, Kongregate
성공적인 게임 출시를 위해서 반드시 선행되어야 할 것은 바로 정확한 테스트입니다.
테스트에서 긍정적인 결과가 나온 제품은 업데이트 하여 출시하면 성공 가능성이 훨씬 높아 질 것 입니다.
헌데 이런 테스트를 언제, 얼만큼, 무엇을 확인 하기 위해서인지 목표를 설정하지 않고 진행 한다면 비용만 낭비하는 꼴이 될 수 있습니다.
발표자는 이러한 경우를 없애기 위해 효과적인 테스트 계획에 대해 설명 했습니다.
먼저 테스트의 종류와 그 장단점을 비교해 보면 다음과 같습니다.
- 현장 테스트
- 장점 : 유저의 행동과 몸짓 언어를 직접 관찰 할 수 있다.
- 단점 : 심리적 압박감이 행동을 변화 시킬 수 있다. 샘플이 너무 적고, 편향된 행동을 할 가능성이 있다.
- 원격 테스트
- 장점 : 심리적 압박이 적고, 새로운 관점을 관찰 할 수 있다
- 단점 : 행동이나 몸짓 언어를 관찰 할 수 없다. 샘플이 적고 비용이 늘어 날 수 있다.
- 지인/내부 테스트
- 장점 : 비용이 적게 들고, 버그를 찾기에 용이 하다
- 단점 : 편향적인 반응을 보일 수 있다. 샘플이 적다
- 클로즈 베타 테스트
- 장점 : 테스터들이 열성적이다. 출시 전 커뮤니티 형성을 할 수 있는 기회가 있다.
- 단점 : iOS에서는 불가능 하다. 통계가 부풀려질 가능성이 있다.
- 지역 테스트
- 장점 : 작지만 실질적인 데이터를 얻을 수 있다.
- 단점 : iOS에서 확인 하기엔 시간이 오래 걸린다. 데이터가 대표성을 갖기 힘들다.
그래서 효과적인 테스트를 위해선 <내부 테스트> ⇒ <지인 테스트> ⇒ <클로즈 베타 테스트> ⇒ <지역 테스트> 순으로 진행 하는 것이 좋다고 합니다.
하지만 이러한 이론이 모든 게임에 동일 하게 적용 될 수는 없고, 현재 상태에 따라 유동적으로 선택 할 수 밖에 없다고 합니다. 테스트 결과가 나쁘다고 해서 무조건 다음 패치를 준비 할 것이 아니라 현실적인 자본과 시간에 대해 충분히 고려해야 한다는 것이지요.
가장 중요한 것은 앞에서 언급 한 것처럼 테스트의 ‘목표’를 설정 하는 것이라고 합니다. 이번 테스트로 튜토리얼 후 이탈 유저가 몇 %인지 파악하고, 다음 패치로 그 비율을 몇 %까지 줄이겠다, 또는 이번에 추가된 PVP feature의 이용률이 목표치를 달성 했는지, 달성하지 못했다면 다음 패치로 몇 %까지 수치를 올릴 것인지에 대한 목표 말입니다.
또 데이터가 충분히 모이기 전까지는 성급하게 결단을 내리지 말라는 충고도 덧붙였습니다.
이번 강연을 들으면서 그동안 저희의 패치 process에 대해 되돌아 보게 되었습니다.
그저 막연하게 어떤 효과가 있을 것이다, 하는 추측만 가지고 패치를 한 것은 아닌지, 그 때문에 실질적 효과를 보지 못하고 비용만 낭비한 것이 아닌가 하고 말입니다.
By Justin Hwang