Developer-led high impact game and platform experiments
Room 130, North hall
Speaker : GSN games

이 강연은 점심을 공짜로 준다고 해서 일단 무조건 신청… 은 아니고, 점심시간에 다른 강연이 보통 없는데 강연이 있어 그냥 들어갔다가 좋은 내용을 얻는 케이스 입니다. 우리가 사내 개발 및 포스트모템을 할 때 사용하는 정량적 평가를 사용하고 있는 사례의 회사인데, 확실히 배울점이 많았습니다. 한번 내용을 살펴보겠습니다.

부분유료화 등의 설계를 할 때 이 회사(GSN)은 반드시 설계 이후 예상 수치 변화를 추정하고, 이후 실측을 해 그 차이가 얼마나 발생하는지, 왜 발생하는지에 대해서 꼼꼼히 분석하고 있었습니다. 웹베이스의 게임을 개발하는 회사여서 분석에 거부감이 없는지는 모르겠지만 한국 게임 개발사들에서 찾아보기 어려울 정도의 밀도있는 분석 능력과 도구들이 매우 돋보였습니다.

한 예로, GSN에서 서비스하는 빙고 게임의 데이터를 보여줍니다. 빙고에서 Free Ball을 3개 주려고 할 때, 기획 단계에서 두 가지 구현법이 떠올랐습니다. 하나는 게임 전 3개를 주고 시작하는 것과 하나는 공이 다 떨어지면 3개를 나중에 주는 방법이었습니다. 이 경우에는 두가지를 모두 실험해보았는데, 양쪽 모두 수익이 증가하였지만공이 다 떨어졌을 때 3개를 주는 편이 거의 수배에 가깝게 매출이 증가했습니다. 여기서 GSN은 왜 뒤쪽에 주었을 때 더 많은 과금이 발생되는지에 대해 분석하며 설계 방식의 노하우를 얻습니다. 이런 식으로 각 케이스에 대해서 모두 현상과 원인을 분석합니다.

또 결과와 구현코스트의 데이터도 늘 트래킹 합니다. Time to implement와 증가된Payer, Payment, Revenue의 Ratio를 비교함으로서 효과적인 구현이었는지 파악하고 그 결과를 토대로 Learning항목을 만들어 케이스별로 정리합니다.

최근 구현한 게임에서의 스코어는 3 successful, 1 faild, / 11 days of engneering / 65% more revenue라고 수치를 보여주었습니다. 철저하게 트래킹하고 있으며 개발하고 싶은 부분을 생각없이 개발하지 않고 옵티멀하게 필요한 것들을 하고 있다는 느낌이었습니다. 더욱이 이런 과정을 반복하면 어떤 것이 필요한 것인지 점점 정밀하게 예측해 나갈수 있다는 것이 큰 성장 잠재력이었습니다. (물론 우리도 하고 있다고 과대평가하는 것은 아니지만…하하)

이후로는 이전과 비슷한 내용으로 결과 데이터를 분석해서 계속 의사 결정에 반영해나가는 여러 시도들을 사례로 보여주었습니다. 이것을 이들은 실험(Experiment)라고 칭했습니다.

Platform experiment에서는 주로 두 가지 데이터를 측정합니다. Viral 과 Payment가 그것입니다. 그 중에서 Viral experiment의 예를 하나 보여줍니다. 이들이 만든 페이스북 게임이 하나 있습니다. 이 게임은 페이스북 플랫폼의 게임으로 친구를 찾아 등록할수록 더 큰 Viral이 일어나는 구조입니다. 물론 Facebook은 이미 모듈로 친구를 검색하고 등록하는 Pop-up 인터페이스를 제공합니다. 하지만 이런 형태는 좋지 못하다고 판단한 그들은 은 이걸 게임 안쪽으로 통합하는 시도를 합니다.

결과적으로 더 아름답고 친구 등록을 하기 쉬운 형태가 되었습니다. 인터페이스 상의 바이럴 장벽을 제거한 케이스입니다. (이 이야기를 하면서 기본 페이스북의 팝업 인터페이스가 짜증난다는 이야기를 반복합니다.)
역시 구현을 했으니 포스트모템을 하지 않을 수 없지요. 구현에는 총 10일이 걸렸으며, 결과로 Virality는 4%증가, DAU는 3%증가, Re-engagement는 13% 증가했습니다. 개선 전 보다 모든 수치가 증가했으므로 훌륭한 개선이라 하겠습니다.
테트리스, 심즈 등의 예를 보여주며 다른 좋은 게임들도 이들과 같이 기본 인터페이스 대신 독자적으로 제작한 인터페이스를 게임에서 사용하고 있음을 보여줍니다.

그 이후에 이들은 아무 친구나 추천하는 것보다 현명하게 친구를 추천하는 기능을 만들 것을 기획합니다. 이걸 그들은 Smart invite widget이라 불렀습니다. 이건 단순히 친구 중 게임을 할만한 사람들을 필터링해주는 기능으로 구현에는 고작 2일이 걸렸을 뿐입니다. 하지만 58%의 invite 증가, 415% more invites sent to non-app users, 123% more viral users의 대단한 결과를 가져옵니다. 즉 작은 구현코스트로 큰 효과를 본 셈입니다.

이때 느낀점은 역시 그냥 막연히 시간이 많이 걸리는 구현이 좋은 결과를 가져오는 것이 아니라는 부분입니다. 필요한 부분에 집중해서 옵티멀하게 구현한다는 진리는, “필요한 부분이 무엇인가?”를 아는 데서 부터 시작합니다.

Payment experiment에서도 설명을 합니다. 이 부분은 개인적으로 많은 관심이 있는 부분이었습니다. 이들은 처음 게임에 진입하는 사람들이 과금에 장애를 느낀다고 생각하고 처음 과금을 당하는 유저에게 보너스를 지급하는 기능을 10분만에 구현했습니다. 그런데 이 단순한 구현으로 25%의 유저수 증가와 6.7%의 수익 증가를 이루었습니다.

또 재미있는 실험을 했는데 buy back에 관한 것입니다. 이틀에 걸쳐 본 게임의 과금을 여러 형태로 포진시켰습니다. Time과 Place에 대한 Option을 주었다, 라고 설명하였는데, 이해한 바로는 그냥 게임의 여러 포인트에 과금을 배치한 것입니다. 이 배치의 결과로 Payer는 40$가 증가했고, 수익은 21%가 증가했습니다. 시간과 장소에 대한 과금 옵션은 큰 차이를 만들수 있다는 교훈을 주는 실험이었습니다.

Performance experiment에 대한 이야기도 들어갑니다. JavaScript Minification을 해서 페이지로딩타임을 줄이고, Dirty code를 정리한 이야기를 하면서 역시 또 결과 분석 들어가줍니다. 이렇게 소스를 정리했더니, 게임에 대한 업데이트가 전혀 없었음에도 불구하고 플레이어수가 5% 증가했다는 것입니다. 확실히 로딩속도 개선은 유저를 늘리는 효과가 있는 듯 했습니다.
연결해서 어떻게 최적화를 하는지에 대해서 테크닉을 설명해주었습니다. 주로 PerfMon을 사용한다고 했고, ms단위로 측정을 하고 있었습니다. 우리도 이런 퍼포먼스 툴을 하나 만들어서 공용으로 사용해야곘다는 생각을 했습니다. 그 밖에 Ajax를 적극 활용한다드니, 쓰레드를 많이 사용한다느니 하는 이야기를 했지만, Native Coder인 저로서는 그냥 저렇게 쓰레드 떡을 만드니 웹게임이 퍼포먼스가 안나오지.. 하는 생각만 들었습니다.

이제 정리하는 이야기로 넘어갑니다. 이런 실험(Experiment)들은 분명 더 좋은 게임을 만드는데 유익합니다. 권장할만합니다. 다음의 규칙을 지킨다면 더 좋은 실험이 될 것입니다.

1, Transparency ; 이것은 실험을 왜 해야 하는지부터 결과가 어떤지까지를 관계자들에게 온전하게 공개하는 것을 말합니다.
2, Frequency ; 자주 실험을 해야 함을 말합니다. / 이 부분은 횟수보다는 짧은 단위로 실험을 진행하라는 뜻으로 이해했습니다.
3, Simplicity ; 실험은 단순한 프로세스로 진행되어야 합니다.

그 밖에 빌드를 할때 트윗같은 인터페이스에 bot이 있어서, 프로그래머가 빌드를 이 인터페이스로 요청할 수 있고, 관련자는 이 빌드를 컨펌할 수 있었습니다. 가운데서 bot이 이 업무 리스트를 정리해 DB화 하는 작업도 자동으로 진행되었습니다. 이 내용은 아주 충격적이었습니다. 사내에서 만든 ERP도 매우 높은 수준이라 자평하고 있었는데, 채팅봇인터페이스는 정말 신선했습니다. 대화형으로 결제를 처리하다니요.
당연히 이 업무용 웹페이지는 업로딩 기능도 있었고, 심지어 Exception Monitor라는 어설트 트래커가 있어, 모듈별 크래쉬의 누적 카운트를 보존하고 있었습니다.

위에서 측정된 데이터들은 Data Warehouse에 등록되어 보존되며 보통의 SQL 로 핸들링 된다고 하였습니다.

마무리하면서 다시 아래의 내용을 강조하며 강연을 마쳤습니다.

Empower Engnineers
Conceive
Design
Build
Launch
Analyze

“진행함에 있어, Fast Iteration Cycle을 구성하고 Great Tools를 만들어라.”

각 실험들의 공개된 수치와 방법으로 다른 게임들이 가진 이슈들에 구체적인 해법을 제시하는 강연이라기보다는 어떤식으로 정답을 만들어내는지의 방법을 보여주는 강연으로서 의미가 있다고 평가합니다.

개인적으로 작업프로세스를 관리하거나 개선하는 툴을 만들어 사용한지 6년가까이 흘렀기 때문에 나름대로는 매우 잘 개선되어왔다고 생각했는데, 웹베이스의 회사라 그런지 매출 분석까지 작업을 연결시키는 테크닉에서 감탄했습니다. 우리 회사의 협업툴을 어떻게 발전시켜야 될지 많은 영감을 얻은 강연이었습니다.

by Kay Park