긱벤치, 안드로이드 성능순위에서 갤럭시 S22 삭제

3월 5일 긱벤치(Geekbench)가 공식 트위터를 통해 갤럭시 S22를 비롯한 여러 모델들을 안드로이드 성능순위에서 삭제했다고 발표했습니다. 이번 글에서는 긱벤치가 무엇인지와 갤럭시 일부 모델들이 삭제된 배경, 2021년 있었던 유사 사례를 정리해 보았습니다.

긱벤치란?

긱벤치는 프라이메이트 랩스(Primate Labs)가 개발한 프로세서 성능 분석 소프트웨어로 CPU 및 GPU 성능을 분석하는 긱벤치 5, 머신러닝 성능을 분석하는 긱벤치ML이 있습니다. 긱벤치 5에는 CPU 분석 기능인 CPU 벤치마크와 GPU 분석 기능인 COMPUTE 벤치마크가 있으며 여러 콘텐츠에서 인용되는 긱벤치 자료는 보통 긱벤치 5의 CPU 벤치마크 결과(성능 분석 결과)를 말합니다. 참고로 긱벤치 5의 숫자 5는 프로그램 버전을 의미하며 분석 결과가 사용자 체감 성능을 대변할 수 있도록 프로그램이 계속 업데이트되고 있습니다.

구글 플레이 스토어에 등록된 긱벤치 5 앱 (출처: 구글 플레이 스토어 캡처)

긱벤치 5의 CPU 및 GPU 성능 분석 결과는 수치로 표현되며 이를 긱벤치 점수라고 합니다. 그중 CPU 점수는 싱글코어 점수와 멀티코어 점수로 이뤄져 있으며 둘은 프로세서의 작업 처리 결과를 점수화하는 방식으로 측정됩니다. 구체적으로 프로세서에 암호 연산 1가지, 정수 연산 9가지, 부동 소수점 연산 11가지 등 총 21개 작업을 부과해 작업별 점수를 구한 다음 그 점수들의 평균을 계산해 최종 점수를 산출합니다. 작업별 점수는 처리 속도가 빠를수록 높으며 속도가 10% 빠르면 점수도 10% 높습니다(처리 속도는 초당 처리량으로 측정됩니다). 즉 높은 점수는 더 빠른 프로세서를 의미하며 A 프로세서의 점수가 B보다 10% 높다면 전반적인 작업 처리 속도가 10% 빠를 것이라고 가늠할 수 있습니다. 한편 프라이메이트 랩스는 긱벤치 5 이용자들의 벤치마크 결과를 토대로 안드로이드 벤치마크 차트와 같은 성능 순위 차트를 만들어 제공하고 있습니다.

갤럭시 S22 삭제

3월 2일 프라이메이트 랩스 창업자이자 긱벤치 개발자인 존 풀(John Poole)이 자신의 트위터에 긱벤치 5 앱 명칭(package name)을 게임 앱 원신으로 바꾸면 갤럭시 일부 모델에서 GOS가 구동돼 성능이 저하된다는 클리앙의 게시물을 올렸습니다. 그리고는 이 같은 현상을 재현할 수 있는지 실험할 것이며 앱 명칭만으로 스마트폰 작동 방식을 변경하는 회사를 좋게 보지 않는다고 덧붙였습니다. 다음 날 존 풀은 트위터를 통해 실험 결과 갤럭시 S10, 갤럭시 S22 울트라에서 긱벤치 5 명칭을 변경해 실행하면 GOS가 구동돼 성능이 저하되는 현상을 재현할 수 있었고 갤럭시 S22 울트라의 성능 감소폭이 더 컸다고 밝혔습니다.

 

[표] 존 풀이 공유한 테스트 결과

기기	측정 항목	GOS off	GOS on	구동 시 증감률
갤럭시 S10	싱글코어	757	562	-26%
	멀티코어	2,095	1,918	-8%
갤럭시 S22 울트라	싱글코어	1,233	664	-46%
	멀티코어	3,479	2,235	-36%

자료: 긱벤치 브라우저

 

3월 5일 긱벤치는 공식 트위터를 통해 GOS가 앱의 동작 방식이 아닌 식별자를 사용해 성능을 조절한다는 걸 알았으며, 긱벤치를 포함한 주요 벤치마크 앱은 조절 대상에서 제외돼 있어 이를 벤치마크 조작으로 본다고 발표했습니다. 그리고 자체 조사 결과 갤럭시 S22, S21, S20, S10 시리즈가 GOS를 사용하는 것을 확인해 해당 모델들을 안드로이드 벤치마크 차트에서 제외시켰다고 밝혔습니다.

긱벤치 트위터의 갤럭시 일부 모델 삭제 발표 (출처: 트위터 캡처)

긱벤치 발표에 앞서 IT 유튜브 채널 '오목교 전자상가'와의 인터뷰에서 존 풀은 GOS의 목적은 이해하지만 선택적으로 적용되는 구동 방식은 문제가 있다는 입장을 밝혔으며, 벤치마크와 사용자가 경험하는 성능 간에 큰 차이가 생기는 것에 대해 우려를 표했습니다. 한편 삼성전자는 삼성 멤버스 앱의 공지사항을 통해 벤치마크 툴은 게임 앱이 아니므로 GOS 적용 대상이 아니라고 설명했습니다.

2021년 원플러스9 삭제

작년 7월에는 중국 스마트폰 브랜드 원플러스의 기기 2종이 벤치마크 조작으로 안드로이드 벤치마크 차트에서 삭제되었습니다. 2021년 7월 6일 아난드텍(AnandTech)은 자체 조사를 통해 원플러스9 프로가 인스타그램, 유튜브 등 인기 있는 앱을 실행할 땐 성능을 낮추는 반면, 벤치마크나 인기가 덜한 앱을 실행할 땐 최대 성능을 발휘하는 점을 밝힌 글을 발행했습니다. 해당 글에는 조사 결과 검증을 위해 존 풀에게 연락해 긱벤치 5로 실험했으며 동일한 결과를 얻었다는 내용도 있습니다. 글이 발행된 다음 날 긱벤치는 공식 트위터를 통해 원플러스가 앱의 동작 방식이 아닌 식별자를 토대로 성능을 조절하며 이를 벤치마크 조작으로 판단해 원플러스9, 원플러스9 프로를 안드로이드 벤치마크 차트에서 제외시켰다고 발표했습니다.

안드로이드 벤치마크 차트 하단 '제외 기기'로 분류된 원플러스, 갤럭시 모델들 (출처: 긱벤치 브라우저 캡처)