Бенчмарки для смартфонов — что это и можно ли им доверять?
Содержание
Содержание
Без тестирования производительности уже долгие годы не обходится практически ни один обзор смартфонов, поэтому не удивительно, что бенчмарки, предназначенные для этой задачи, пользуются популярностью не только среди энтузиастов, но и среди самых обычных пользователей, которые могут даже не знать, на каком железе работает их мобильное устройство.
Результаты бенчмарков, как правило, просты и понятны — во многих случаях итоги представлены в виде общего количества баллов, по которым, как предполагается, и нужно делать выводы о производительности девайса. Но все ли так просто, и действительно ли бенчмарки всегда отражают реальную картину, позволяющую оценить мощность смартфона и его конкурентов? И есть ли хитрости, на которые могут пойти производители смартфонов? Давайте попробуем разобраться в этом.
Как появились бенчмарки?
Есть мнение, что на мобильных устройствах бенчмарки (англ. benchmark) появились по той причине, что смартфоны с момента появления первой модели пытаются копировать функционал ПК, а на компьютерах оценка производительности всегда была актуальна благодаря большому количеству доступного на рынке железа, возможности смены отдельных компонентов, а также разгону процессора и памяти. На смартфонах же и в 2020 году пока приходится ограничиваться разгоном некоторых процессоров, установкой кастомных прошивок и получением прав суперпользователя, да и то не на всех девайсах, а модульные аппараты пока не прижились.
Для большего понимания того, где появились первые мобильные бенчмарки, немного углубимся в историю. Первым смартфоном, который увидел свет еще в 1992 году и начал массово продаваться, принято считать IBM Simon — это даже несмотря на то, что в то время термина смартфон еще не существовало. Тем не менее, IBM Simon уже тогда обладал сенсорным дисплеем, софтом для работы с электронной почтой и несколькими предустановленными играми.
А вот первое упоминание термина Smartphone мир услышал на презентации аппарата Ericsson R380s, работающего на операционной системе Symbian 5.1.
Случилось это в 2000 году, тогда же, когда вышла ОС для коммуникаторов Windows Mobile. Именно появление Symbian и Windows Mobile со временем дало пользователям возможность легкой установки множества сторонних приложений, среди которых были и бенчмарки, которых за время существования операционных систем накопилось более десятка. Тем не менее, на их показатели не слишком ориентировались при выборе устройства, хотя тесты производительности и применялись некоторыми пользователями.
Отсутствие популярности бенчмарков как на Symbian, так и в меньшей степени на Windows Mobile, можно объяснить тем, что смартфоны и коммуникаторы во времена расцвета этих двух операционных систем были менее востребованными, чем сейчас, но также меньше было производителей, как и версий процессоров. После появления Android OS в 2008 году ситуация в корне изменилась — мобильный софт начал обретать невиданную ранее популярность, чему в значительной мере посодействовала также IOS и первый Iphone, появившийся годом ранее. Смартфоны стали удобнее, и с каждым годом их производительность заметно вырастала, поэтому не удивительно, что для оценки их мощности было создано множество тестов, часть из которых уже успела устареть и окончательно утратила свою актуальность. К примеру, вспомнит ли кто-нибудь о существовавших ранее тестах Quadrant или Epic Citadel? Едва ли, а когда-то на них ориентировалось большое количество обозревателей смартфонов.
Что тестируют бенчмарки?
Методика тестирования у всех бенчмарков отличается, поэтому ни в коем случае нельзя сравнивать показатели из разных приложений, как и не совсем правильным будет сравнить результаты, полученные на разных операционных системах (точнее, учитывая особенности рынка на 2020 год, на IOS и Android). Наиболее популярные параметры для тестирования указаны ниже:
Результаты могут быть отображены как в условных баллах (или, как иногда в шутку говорят, в попугаях), так и в мегафлопсах, гигафлопсах, мегабитах, мегабайтах, в количестве запросов в секунду (QPS), в кадрах в секунду (FPS) и в других единицах измерения.
Что не так с бенчмарками?
Периодически в сети появляются новости о том, что известные производители смартфонов накручивают рейтинги в бенчмарках, а иногда в мошенничестве обвиняют даже производителей процессоров. Главная претензия заключается в том, что в бенчмарках, учитывая непродолжительное время тестирования, смартфон начинает работать на пределе своих возможностей, тогда как при решении остальных задач фактическая производительность снижается.
Но действительно ли такую особенность можно считать обманом? Мнения у пользователей по этому поводу разделились, так как с одной стороны кажется, что смартфоны пытаются сделать более привлекательными в глазах покупателей, а с другой — не все видят в этом что-то плохое, да и вовсе не нужно, чтобы железо всегда работало в полную силу. Мало какие задачи требует этого, а еще в таком режиме смартфон не может работать долгое время — это неизбежно приведет к перегреву и повышенному расходу заряда.
Идем дальше. Смартфоны, выдающие примерно равный результат в бенчмарках, вовсе не обязательно будут одинаково работать при решении повседневных задач — для примера можно привести процессоры Unisoc SC9863 и Snapdragon 439. Первый в Antutu восьмой версии набирает более 100000 баллов, а второй — в среднем 90000. Но в играх, да и в других задачах, процессор от Qualcomm превосходит своего конкурента в разы, показывая заметно большее количество кадров в секунду и лучшие результаты во всех аспектах работы. Еще одна странность в том, что в седьмом Antutu чип Snapdragon 439 все-таки набирает на 5000 баллов больше, то есть, видимо, используются уже другие алгоритмы подсчета. Но в итоге следует вывод, что количество не всегда переходит в качество.
И здесь обнаруживается еще одна особенность бенчмарков — это частый выход новых версий приложений, в которых результаты производительности могут существенно отличаться от таковых в предыдущих версиях. Это создает некоторую путаницу, ведь для объективного сравнения смартфонов нужно, чтобы тесты запускались в одинаковых версиях.
С бенчмарками, тестирующими время работы устройства, тоже все не так однозначно. Казалось бы, можно просто на всех смартфонах выставить 50 или 100 % яркости, и таким образом сравнивать показатели. Но особенность в том, что максимальный уровень яркости у всех девайсов разный. При тестировании дисплея могут обнаружиться другие особенности вроде уменьшения или увеличения яркости в зависимости от отображаемой информации или от яркости внешнего освещения. Поэтому без специального оборудования, которое бы измеряло яркость и позволило бы выставить на всех смартфонах одинаковый уровень подсветки, тесты не будут являться объективными.
Также странным выглядит и удаление из магазина Google Play, пожалуй, самого популярного бенчмарка Antutu, разработчики которого не раз обвинялись в нарушении политики конфиденциальности и в мошенничестве. Но это скорее единичный случай, который еще ни о чем не говорит.
Так стоит ли доверять бенчмаркам?
Хорошие результаты в бенчмарках еще не гарантируют, что смартфон будет радовать вас своей работой, но в большинстве случаев подобный софт поможет понять, насколько мощным может быть смартфон, и при отсутствии других данных это будет полезной информацией. Но достаточно ли этого? Если нужен просто мощный аппарат, то да, особенно если он выдает в Antutu несколько сотен тысяч баллов.
Несмотря на различные скандалы, связанные с бенчмарками, с этим софтом не все так однозначно — некоторые тесты помогают выяснить, склонен ли смартфон к троттлингу (значительному снижению производительности при нагрузках), а также они отображают скорость памяти, температуру аккумулятора и прочие полезные данные, поэтому ставить крест на всех бенчмарках не стоит. Часть из них наверняка будет востребована еще очень долгое время.
Пять популярных бенчмарков для Android
Время, когда мощные бенчмарки выходили только для персональных компьютеров, уже давно кануло в лету. Теперь большинству разработчиков топовых тестовых приложений пришлось перебраться на мобильную платформу.
Сегодня вашему вниманию будут представлены пять приложений, способных провести подробное тестирование вашего электронного друга. Некоторые из них максимально нагружают железо девайса комплексными тестами, другие проводят точечные замеры производительности отдельных компонентов. Но всех их объединяет доверие как со стороны обычных пользователей и журналистов,так и разработчиков мобильных устройств.
Vellamo
Компания Qualcomm, один из лидеров в производстве процессоров для мобильных устройств, разработала комплексный бенчмарк для тестирования производительности вашего устройства в мировой паутине. Vellamo включает в себя несколько специфичных сценариев подсчёта стабильности поведения системного браузера во время различных нагрузок. Бенчмарк проверяет работу JavaScript, рассчитывает нагрузку на оперативную память и процессор устройства. Пользователю также доступен замер скорости соединения, рендеринга изображений, производительности графического ядра при обработке 3D и 2D сцен на движке HTML5. Vellamo доступен устройствам под управлением OS Android 2.1 и выше. Для удобства сравнения девайсов в приложении имеется вкладка с подробными результатами тестов как топовых устройств, так и бюджетных решений. В итоге пользователю становится доступен лёгкий способ получить довольно подробный отчёт о возможностях своего смартфона или планшета.
Как проверить мощность телефона: лучшие бенчмарки для Android
Иногда необходимо проверить быстродействие Android-девайса. Лучший способ это сделать — использовать специальные приложения-бенчмарки. Я собрал самые оптимальные из них в этом материале.
Сразу упомяну, что очень популярный бенчмарк Antutu я не включил в данную статью по причине того, что считаю его необъективным.
Старое, но проверенное приложение для измерения скорости внутреннего накопителя на Android-девайсе. Имеет два вида тестов: Micro и SQLite. В первом случае оценивается скорость последовательного и случайного чтения/записи файлов. SQLite исследует скорость выполнения запросов на вставку, обновление и удаление в базе данных, что отражает работу некоторых приложений.
Более свежее приложение для измерения скорости передачи данных между устройством хранения и системной памятью (ОЗУ). После замеров пользователь получает подробный отчёт о скорости последовательного и случайного чтения/записи файла, размер которого можно изменить в настройках. Там же есть возможность экспортировать результаты в формате CSV. В отличие от AndroBench, здесь есть ещё и информация о скорости копирования файлов.
Одно из преимуществ программы — кроссплатформенность. Помимо Android, CPDT доступна на Windows, macOS и Linux. Имеется большой список протестированных устройств, с которым всегда можно сравнить результат текущего девайса.
Популярный кроссплатформенный бенчмарк с простым интерфейсом, обладающий набором тестов, имитирующих работу в реальных приложениях. В режиме тестирования процессора Geekbench измеряет одноядерную и многоядерную производительность. Помимо этого, доступны замеры быстродействия графического процессора.
Полученные результаты можно сравнивать как с другими моделями, так и с итогами тестов в рамках одной протестированной модели. Geekbench 5 доступен на Android, iOS, macOS, Windows и Linux.
Отличное приложение, часто использующееся для тестирования графической части девайса и отслеживания состояния смартфона в это время.
GFXBench предоставляет на выбор огромное количество тяжёлых бенчмарков, в том числе и для проверки автономности устройства. После замеров доступны подробные графики фреймтайма, температуры, а также тактовой частоты CPU.
Кроссплатформенный тест графического и центрального процессоров. Бенчмарки используют графические API Vulkan и OpenGL ES, которые встречаются во многих свежих играх. В самом приложении результаты легко сопоставить с другими смартфонами благодаря удобному списку. 3D Mark понятен даже не самому опытному пользователю, что, несомненно, является плюсом.
clpeak позволяет протестировать производительность смартфона при работе с фреймворком OpenCL, который используется во многих приложениях и играх. Кстати, вышеупомянутый Geekbench тоже измеряет возможности девайса в OpenCL, но предоставляет не столь много информации по каким-то конкретным вычислениям, в отличие от данного приложения. Встроенного списка лидеров в clpeak нет, но сами тесты кроссплафторменные, и всегда можно сравнить результаты с любым другим девайсом благодаря подробным итогам.
Важный тест, который отражает стабильность работы процессора, установленного в смартфоне. В первую очередь, он предназначен для отслеживания максимальной производительности CPU под нагрузкой — если троттлинг (намеренное снижение частот и, как следствие, быстродействия) начинается очень быстро, это говорит о том, что вряд ли девайс хорошо покажет себя в играх и тяжёлых приложениях с множеством вычислений.
Trashbox Battery Test
Фирменный веб-тест батареи, который используется в обзорах устройств на Trashbox.ru. Хорош тем, что универсален для любого смартфона и имеет большую таблицу протестированных устройств. Позволяет узнать, сколько часов девайс сможет продержаться на одном заряде аккумулятора до полного отключения в условиях нагрузки, задействуя возможности видео и HTML5. Важно учесть, что для корректного проведения тестов необходимо иметь стабильное подключение к интернету.
WebGL Aquarium
Весьма тяжёлый веб-тест для тестирования производительности отрисовки 3D-графики в браузере. Главный его плюс — скорость замеров. Достаточно загрузить сайт и оценить выдаваемый FPS в зависимости от количества объектов в сцене. Частота кадров в тех или иных условиях и будет показателем, который надо использовать для сравнения нескольких девайсов.
JetStream 2
Популярный набор JavaScript-тестов создаёт различную нагрузку в браузере, отлично демонстрирующую производительность устройства в целом. Кроме того, JetStream 2 можно использовать для сравнения работы разных веб-браузеров. Для каждого бенчмарка выводится информация о первом, среднем и худшем значениях.