넷플릭스의 A/B 테스트

몇주 전 샌프란시스코에 있는 옐프Yelp 본사에서 있었던 "디자이너스 + 긱스" 이벤트에 다녀왔습니다. 거기서 넷플릭스의 제품 디자이너인 애나 블레이로크Anna Blaylock와 네이빈 아이옝거Navin Iyengar는 수년간 수천만명의 넷플릭스 테스트 멤버들에게 시행했던 A/B 테스트의 결과물을 공유했습니다. 참석한 디자이너들이 자신의 디자인에 대해 생각해볼 수 있도록 비교예시들도 보여줬습니다. 

가정하기

과학계에서 가정이란 연구나 실험으로 테스트해서 얻은 하나의 아이디어 또는 설명이지만, 디자인계에서는 이론 또는 추측이라고 볼 수 있습니다. 

가정하기에는 기본적으로 미리 정해진 결과값이 놓여 있습니다. 그것을 테스트하거나 테스트를 되풀이할 수도 있습니다.

"일반적으로 A/B 테스트의 컨셉은 통제그룹과 실험그룹들(넷플릭스에서는 '셀Cell'이라고 부릅니다)로 실험을 하는 것입니다. 각각의 실험그룹은 실험적인 파일을 받게 되며, 통제그룹에 속하는 '디폴트 셀'은 일반 사용자들과 똑같은 디폴트 파일을 받게 됩니다." - 넷플릭스 테크 블로그

넷플릭스의 A/B 테스트는 다음과 같이 진행합니다: 테스트가 진행되는 동안 특정 지표의 중요한 부분을 추적합니다. 그게 스트리밍 시간이거나 정체되는 부분이 될 수 있습니다. 우선 참여자가 자료를 충분히 제공했다고 판단되면 각 테스트에서 효과를 낸 부분으로 넘어가고 그 중에서 최고의 것을 가려냅니다. 

실험하기

넷플릭스와 같은 많은 기업들은 사용자 데이터를 발생시키는 실험을 시행하고 있습니다. 또한 이런 실험을 잘 조직하기 위해 시간과 노력이 필요한데, 타입과 데이터의 양 모두 충분하고 활용가능해야하며, 가능한 한 효과적으로 관심질문들을 명확하게 해야 합니다.

넷플릭스를 사용하는 유저들이라면 주요 프로그램 소개화면이 가끔 바뀐다는걸 알아차렸을겁니다. 그것들이 모두 넷플릭스를 보고 있는 사용자들에게 진행하고 있는 실험이었던겁니다.

넷플릭스에 처음 로그인 했을 때 메인 화면

로그인 하기 전의 "하우스 오브 카드" 이미지

두 번째로 다시 로그인 했을 때 메인 화면

다른 사용자로 스위치 했을 때 메인 화면

사용자를 "키즈"로 스위치 했을 때 메인 화면

로그아웃 했을 때 화면

A/B 테스트는 결국 다른 사용자 그룹에게 다른 콘텐츠를 보여주고 그들의 반응을 모아서 앞으로의 전력을 구축하는 소스에 사용합니다. 넷플릭스 엔지니어 고팔 크리슈난은 넷플릭스 테크 블로그에서 이렇게 말합니다. "만약 90초 안에 사용자의 시선을 잡지 못한다면 그들은 관심을 잃고 다른 행동을 취할 것이다. 사용자의 시선을 잡지 못한 실패는 가끔 일어날 수 있는데 그것은 우리가 올바른 콘텐츠를 보여주지 못했거나, 올바른 콘텐츠를 보여주긴 했으나 그들이 왜 그걸 봐야하는지 충분한 증거를 제시하지 못했기 때문이다."

넷플릭스가 2013년도에 시행한 테스트에는 여러가지 아트워크로 관람자를 늘릴 수 있는지 알아보려 했습니다. 그 결과는: Cell1(기본 아트웍)에서보다 Cell 2가 14%, Cell 3이 6% 더 많았습니다.

크리슈난의 말을 덧붙이자면, "이는 사용자들이 아트워크의 변화에 민감하다는 신호임과 동시에 넷플릭스를 사용하면서 그들이 원하는 스토리 타입을 찾는데 도움을 줄 수 있는 더 나은 방법들이 있다는 신호이기도 하다."

넷플릭스는 후에 자동으로 같은 배경을 사용하면서도 다른 측면을 잡고 자르고 손질하거나 타이틀의 위치를 옮긴 아트워크를 그룹화하는 시스템을 개발했습니다. 그리고 다른 TV 프로그램에도 이 실험을 지속적으로 되풀이하면서 아트워크의 결과를 비교분석했습니다. 

화살표가 가리키는 두 개의 이미지가 나머지 이미지보다 더 나은 결과를 냈습니다. 

이미지 출처: 넷플릭스 테크 블로그

이미지 출처: 넷플릭스 테크 블로그

결론

A/B 테스트는 사용자 행동을 알아내는데 가장 믿을 수 있는 방식입니다. 디자이너로서 우리는 실험이라는 렌즈를 통해 우리의 작업물에 관해 생각해봐야 합니다. 그것은 조사결과와 사용자와의 대화에 귀를 기울이고, 프로토타입과 A/B 테스트로 관찰하는 것입니다.

1. 언제, 왜 A/B 테스트를 할 것인가?

디자인을 했다면 A/B 테스트를 통해 디자인을 한번 비틀어보고 두 개의 지표를 목표로 삼으세요. 바로 정체와 수입입니다. A/B 테스트를 통해 사용자를 트랙킹하고 디자인의 변화에 따라 사용량이 줄어드는지 늘어나는지의 변화를 확인할 수 있습니다. 그리고 이에 따라 디폴트를 만드세요. 이러한 방식에서 A/B 테스트가 사업지표를 지속적으로 향상시키는데 사용되어질 수 있습니다.

2. 디자인한데로 사용자는 잘 찾거나 진행해나갈 수 있을까?

제 경험으로는 사용자는 항상 기대한만큼 빨리 일을 수행하지 못할 뿐더러, 페이지에 버튼이 어디있는지 조차 모를 때도 있습니다. 그 이유는 다양하죠. 디자인이 충분히 직관적이지 않거나, 컬러가 눈에 띄지 않거나, 사용자가 테크에 익숙하지 않거나, 페이지에 선택할 것들이 너무 많아 무엇을 해야할 지 모른다거나 등등이 있습니다. 

3. 우리의 직관은 정확한가?

슬프게도 사용자 행동에서는 우리의 직관이 틀릴 수 있습니다. 그리고 오직 A/B 테스트만이 증명할 수 있습니다. 이는 부동산 웹사이트에서 A/B 테스트를 통해 증명한 적이 있었습니다. 어떻게 하면 사용자가 구글애드를 더 많이 클릭하게 할 수 있는지 디자인에 대해 고민한적이 있었는데, 그 당시 부동산 관련 이미지를 숨기는게 옳다고 생각하면서 여러가지 실험을 실행했었습니다. 그리고 알아낸 결과로는 부동산 관련 이미지와 함께 가격도 숨겨야한다는 점이었습니다.

4. 경계에 걸쳐 함께 작업하기

최고의 아이디어는 많은 다른 아이디어를 알아보는 것입니다. 우리 제품개발팀은 많은 다른 프로젝트에 참여하여 함께 협업을 하고 있습니다. 디자이너, 제품 매니저, 그리고 개발자를 걸치는 다양한 직군들의 사람들이 경계에 걸쳐서 함께 작업을 하게 되죠. 이 때 개발자나 제품 매니저가 디자이너의 프로토타입을 테스트해본 후 더 나은 아이디어를 도출해내기도 합니다.  

5. 사람들이 하는 말보단 무엇을 하는지 관찰하라

사용자들과 대화할 때면 항상 이점을 잊지 마세요: "무언가에 대해 말하지만, 정작 행동은 그것과 다르게 한다." 이에 관해 한 가지 사례를 경험한 적이 있습니다. 한 사용자에게 연락처 리스트 뷰 프로토타입을 테스트하면서 그에게 정렬/필터링 기능이 필요하냐고 물어봤었고 그는 그런 기능은 잘 사용할것 같지 않다고 대답했죠. 근데 어디서 드롭다운이 되는 새로운 필터메뉴 기능을 보고나서는 그 기능 정말 편하고 정렬과 필터기능을 동시에 처리할 수 있는 멋진 기능이라고 하드라구요. 그러면서 이런 기능을 제품에 넣어서 한번 볼 수 있는지 물어보는 것이었습니다.

사용자를 아는 것이 디자인 프로세스에서 가장 흥미로운 부분입니다. 거기에는 절대 완벽한 디자인이란 없지만 꾸준히 반복하면서 향상할 수 있는 기회가 있습니다. 그리고 이것으로부터 최고의 경험을 사용자에게 선사할 수 있습니다.

원문: how-netflix-does-ab-testing

Refresh Studio

해외 최신 웹/모바일/UX 디자인 글과 동향을 소개해 드립니다.