by dxm1010사용성 테스트에서 최적의 사용자 수
가장 효율적인 사용성 테스트 인원
사용성 테스트는 대규모 프로젝트에만 심사숙고하여 적용하는 것은 아닙니다. 비용과 노력이 매우 많이 드는 정교한 사용성 테스트는 자원 낭비일 수 있습니다. 가장 좋은 결과는 5명의 사용자를 대상으로 하는 여러 테스트를 반복하는 방식에서 나옵니다.
5명의 사용자로만 테스트하면 되는 이유?
Jacob Nielsen의 A mathematical model of the finding of usability problems (1993) 연구에 따르면 n명의 사용자가 있는 사용성 테스트에서 발견된 사용성 문제의 수는 다음과 같은 공식으로 설명됩니다.
여기서 N은 사용성 문제의 수, L은 단일 사용자의 테스트 동안 발견된 사용성 문제의 비율입니다. 또한 Jacob Nielsen의 수많은 프로젝트에서 평균을 낸 L 값은 31%입니다. 이를 그래프로 표현한다면 아래와 같습니다.
그래프에서 가장 눈에 띄는 점은 사용자가 없으면 인사이트도 없다는 사실입니다.
첫 번째 사용자를 테스트하는 순간, 인사이트가 급격히 증가하여 전체 사용성 문제의 약 3분의 1을 발견할 수 있습니다. 데이터가 없는 상태와 하나의 데이터를 수집한 상태의 차이는 매우 큽니다.
두 번째 사용자를 테스트하면, 첫 번째 사용자와 일부 행동이 중복되지만, 새롭게 발견하는 인사이트도 존재합니다. 그러나 첫 번째 사용자만큼 많은 인사이트를 제공하지는 않습니다.
세 번째 사용자는 첫 번째와 두 번째 사용자와의 중복이 더욱 커지며 새로운 인사이트도 적어집니다.
더 많은 사용자를 추가할수록 새로운 인사이트는 눈에 띄게 줄어듭니다. 사용성 문제를 해결하기 위해 다시 디자인 작업으로 돌아가고 싶은 마음을 느끼게 될 것입니다.
다섯 번째 사용자 이후에는 새로운 인사이트는 거의 없고, 같은 행동을 반복해서 관찰하기 때문에 시간 낭비가 될 수 있습니다.
테스트 반복
그래프는 모든 사용성 문제를 발견하기 위해 15명의 사용자가 필요함을 보여줍니다. 그러나 왜 훨씬 더 적은 5명의 사용자로 테스트하는 것을 권장할까요?
그 이유는 사용자 테스트의 예산을 하나의 정교한 테스트에만 집중하는 대신 여러 작은 테스트에 분산하는 것이 더 효율적이기 때문입니다. 예산이 15명의 사용자를 위한 것이라면, 5명씩 나누어 3번의 테스트를 진행하는 것이 좋습니다.
여러 테스트를 반복하는 이유는 사용성 테스트의 목표가 문제점을 전부 찾아서 기록하는 것이 아니라 디자인을 개선하는 것이기 때문입니다. 5명의 사용자를 대상으로 한 첫 번째 테스트에서 사용성 문제의 약 85%를 발견한다면 리디자인을 한 후 그것이 효과가 있었는지 다시 테스트해야 합니다.
테스트가 반복되면 이전 문제는 해결되었지만, 새로운 사용성 문제가 발생할 수도 있습니다. 하지만 테스트의 반복에서 더 깊은 통찰력을 얻을 수 있고 이를 통해 디자인의 더 깊은 곳에 있는 사용성 문제를 파악할 기회를 제공합니다.
단일 사용자 테스트?
어쩌면 한 명의 사용자를 대상으로 한 15개의 테스트가 5명의 사용자를 대상으로 한 3개의 테스트보다 더 나을 것으로 생각할 수도 있습니다. 하지만 그렇지 않은 두 가지 이유가 있습니다.
- 단일 사용자가 실수로 특정 행동을 하거나, 대표적이지 않은 방식으로 행동할 수 있습니다.
- 연구를 계획하고 실행하는 데에는 고정된 초기 비용이 항상 수반되므로, 이러한 비용을 여러 사용자의 발견에 걸쳐 분산시키는 것이 더 경제적입니다.
5명 테스트의 예외 사항
- 정량적 연구: 통계적으로 유의미한 숫자를 얻기 위해 최소 20명의 사용자를 테스트해야 하며, 신뢰 구간을 좁히려면 더 많은 사용자가 필요합니다.
- 카드 소팅(Card sorting): 사용자 그룹당 최소 15명의 사용자를 테스트해야 합니다.
- 시선 추적(Eye tracking): 안정적인 히트맵을 원한다면 39명의 사용자를 테스트해야 합니다.
그러나 이러한 예외 사항에 대해 크게 걱정할 필요는 없습니다. 대부분의 사용자 연구는 디자인을 발전시키기 위한 인사이트를 수집하는 것이어야지, 발표 자료에서 사람들을 놀라게 할 숫자를 모으는 것이 목적이 아니기 때문입니다.