Wer sich ein neues Smartphone kauft, muss sich nicht nur für eine Plattform entscheiden, sondern sich auch im Vorfeld Gedanken über die eigenen Ansprüche machen und die Leistung des zukünftigen Rennpferds einschätzen. Benchmarks helfen dabei.
Wie wichtig ist eine große Auswahl an Apps? Welche Display-Diagonale gefällt am besten? Benötigt man eine Hardware-Tastatur und braucht man bereits einen Dual-Core-Prozessor? Alle diese Dinge können am Ende entscheidend bei der täglichen Nutzung eines Smartphone sein. Doch woher soll man Anhaltspunkte, für die Leistungsfähigkeit eines Smartphones nehmen? Ein iPhone mit einem Android-Smartphone vergleichen, ist gar nicht so einfach, wie man sich das vorstellt. Durch die unterschiedlichen Betriebssysteme und deren teilweise tiefgreifende Anpassung an die Hardware, können sich Leistungsunterschiede ergeben, welche sich nicht von den reinen technischen Daten ableiten lassen.
Mit Benchmarks vergleichen
Hier kommen die Benchmarks ins Spiel. Diese sollen einen Vergleich der Rechenkraft sowie der Grafikleistung verschiedener Geräte ermöglichen. Innerhalb einer Plattform ist dies auch problemlos möglich. So lassen sich zum Beispiel verschiedene Android-Geräte untereinander mittlerweile sehr gut vergleich. Will man aber ein iPad mit einem Android-Tablet vergleichen, wird es schon schwieriger.
Wer mit einem Grafik-Benchmark die 3D-Leistung eines Gerätes messen will, sollte zum Beispiel bedenken, dass hier je nach Benchmark auch die Displayauflösung einen entscheidenden Punkt ausmacht. So kann es durchaus vorkommen, dass ein Gerät mit schwacher CPU und niedriger Displayauflösung besser abschneidet, als ein Gerät mit einem hochauflösenden Display und starker CPU. So müssen zum Beispiel bei der vor einer Weile noch weit verbreiteten Auflösung HVGA (320 x 480 Pixel) nur 153.600 Pixel berechnet werden. Aktuelle Smartphones, die mit einem WVGA-Display ausgestattet sind (entspricht einer Auflösung von 480 x 800 Pixeln) müssen bereits 384.000 Pixel berechnen.
Die folgenden Programme haben sich in den letzten Monaten bewährt, um einen haltbaren Anhaltspunkt für die Leistungsfähigkeit von mobilen Geräten zu erhalten. Dabei ist in jedem Fall zu beachten, dass die gefühlte Geschwindigkeit des Nutzers, erheblich von der gemessenen abweichen kann. Gerade bei den Top-Smartphones und Tablets liefern die Benchmarks manchmal Resultate, die sich nur um Millisekunden unterscheiden. Zudem können weitere Faktoren die Testergebnisse beeinflussen.
So misst Android User
Für die in Android User und auf der Android-User-Webseite getesteten Geräte benutzt die Redaktion die zwei Benchmark-Programme "AnTuTu System Benchmark" und "Vellamo Benchmark". Sie finden beide Programme im Market. Während es sich beim AnTuTu-Benchmark um einen allgemeinen Test handelt, der neben CPU, Hauptspeicher und Grafikleistung auch die Lese- und Schreibgeschwindigkeit der SD-Karte testet, eignet sich der Vellamo-Benchmark sehr gut, um die Gesamtleistung des Systems beim Browsen einschätzen zu können. Da die Internetnutzung doch einen der wichtigsten Punkte bei einem Tablet oder Smartphone darstellt, haben wir uns für diese zwei Benchmarks entschieden. Die Testergebnisse ermitteln wir aus dem Mittelwert von jeweils 5 Durchläufen.
Neben den zwei Benchmark-Werten verteilt die Android-User-Redaktion für jedes Gerät Punkte, wobei ein Resultat von 5 Punkten für "perfekt, genial" steht und 1,0 Punkte für "miserabel".
Quadrant und An3DBenchXL
Der Quadrant-Benchmark [1] ist einer der ältesten, den es für die Android-Plattform gibt, leider auch einer der ungenauesten. Er erlaubt eine recht grobe Unterteilung der Leistungsfähigkeit, die allerdings durch gewisse Werte in alternativen ROMs beeinflusst werden kann.
An3DBenchXL [2] nutzt die Android-Version der jPCT 3D-Engine um die Leistungsfähigkeit eines Smartphones zu ermitteln. Die Werte beziehen sich zwar hauptsächlich auf die grafischen Berechnungen, dennoch liefern die Ergebnisse recht realitätsnahe Zahlen, die man für einen direkten Vergleich heranziehen kann.
Smartbench 2011
Das Benchmark-Programm Smartbench [3] ist 2011 in einer neuen Version erschienen, welche nicht nur neue Messungen ermöglicht, sondern durch Multicore-Unterstützung auch erstmals realistische Werte zum Vergleich von Single- und Multicore-Geräten bietet. Wer bereits die alte 2010er-Version benutzt hat, muss den Benchmark nochmal komplett neu durchlaufen lassen, da sich die Berechnungen grundlegend geändert haben. Auf der Webseite http://smartphonebenchmarks.com lassen sich diverse Werte von verschiedenen Geräten einsehen. Generell wird in die Bereiche Produktivität und Gaming unterteilt. Viele Geräte befinden sich zwar in der Datenbank, es sind aber keine Testresultate hinterlegt.
System Benchmark
Der System-Benchmark von AnTuTu [4] ist eine ansprechend umgesetzte App, die nicht nur die CPU-Leistung sowie die 2D- und 3D-Grafik, sondern auch die Geschwindigkeit der SD-Karte testet. Es gibt einen Online-Vergleich direkt im Programm und Filteroptionen, welche es erlauben, nur die Werte bestimmter Modelle anzuzeigen. System Benchmark ist der bevorzugte Benchmark von Android User, da die App gratis ist und Sie somit die Leistung Ihres Geräts direkt mit den von uns gemessenen Resultaten vergleichen können. Für diese Ausgabe benutzten wir Version 2.1 des Benchmark-Programms, Resultate mit älteren AnTuTu-Programmen vor Version 2.0 sind damit nicht kompatibel.
Linpack
Der Linpack-Benchmark [5] ist einer der wenigen Tests, der einen direkten Vergleich von Android und iOS-Geräten ermöglicht. Hier wird anhand mathematischer Formeln die Rechenkraft in Megaflops ausgegeben, was zudem eine einheitliche Größe für die Leistung von Prozessoren ist. Somit lassen sich die Werte auch mit den Resultaten eines Desktop-Rechners oder eines Notebooks vergleichen.

SunSpider und BrowserMark
Da bekanntlich die Browser von iOS-Geräten und Android-Geräten auf der WebKit-Engine basieren, erlauben diese einen plattformübergreifenden Vergleich der beiden Gerätetypen. Mit der Hilfe von SunSpider – einer Benchmark-Suite zum Testen der Geschwindigkeit von JavaScript-Implementierungen – kann man so ermitteln, wie die Systemleistung im Browser Anwendung findet. Auch wenn der SunSpider-Benchmark [6] nicht in erster Linie dazu dient, plattformübergreifend die Leistung eines Smartphones beurteilen zu können und in erster Linie die Performance der jeweiligen WebKit-Implementierung misst, gibt er ansatzweise auch Informationen zu der darunter werkelnden Hardware.
Ähnlich wie SunSpider funktioniert auch BrowserMark [7]. Der Test liefert aber dabei etwas andere Ergebnisse als sein Vorbild. Auch BrowserMark führt seine verschiedenen Belastungstests über JavaScript durch, sodass er sich unabhängig vom eingesetzten Betriebssystem nutzen lässt. Neben der frei verfügbaren Version gibt es auch eine Corporate-Variante mit Akkutest.

Vellamo Web-Benchmark
Gerade bei Tablets gehört die Internet-Nutzung zu einer der Hauptaufgaben eines Android-Geräts. Hier muss die Software ideal auf die Hardware abgestimmt sein, damit Webseiten schnell laden und Videos in Youtube nicht ruckeln. Ob das Ihr Smartphone bzw. Ihr Tablet kann, verrät der Vellamo-Benchmark [8] von Qualcomm. Der Test prüft unter anderem die Leistung des Browsers bei der Darstellung von Grafiken im HTML5-Modus, via JavaScript und bei Überblendungen. Aber auch einfaches Scrollen führt die App durch, um zu prüfen, wie flüssig sich dabei das Android-Gerät verhält. Zudem bettet der Test den SunSpider-Benchmark ein, sodass das Ergebnis in jedem Fall mehr über das Smartphone oder Tablet aussagt, als ein purer SunSpider-Durchlauf. Die eigentlichen Tests führt der Benchmark dabei offline durch, lediglich die Daten für vereinzelte Teil-Benchmarks zieht sich Vellamo aus dem Internet.

Wer misst, ?
Trotz im Internet veröffentlichter Spitzenergebnisse bei gewissen Teste sollten Sie sich beim Kauf eines Smartphones nie bloß auf die Werte von Benchmarks verlassen, sondern sich nach Möglichkeit stets ein persönliches Bild vom Gerät machen. Für den Vergleich unter Freunden eignen sich die hier vorgestellten Tools aber alle mal. Last but not least eignen sie sich gut, um eventuelle Performance-Schwachstellen aufzuspüren und durch gut angepasste Software zusätzliche Leistungsreserven freizusetzen – auch nach dem Kauf eines neuen Smartphones.
Infos
- Quadrant: https://market.android.com/details?id=com.aurorasoftworks.quadrant.ui.standard
- An3DBenchXL: https://market.android.com/details?id=com.threed.jpct.benchxl
- Smartbench: https://market.android.com/details?id=com.smartbench.eleven
- System Benchmark: https://market.android.com/details?id=com.antutu.ABenchMark
- Linpack für Android: https://market.android.com/details?id=com.greenecomputing.linpack
- SunSpider: http://www.webkit.org/perf/sunspider/sunspider.html
- BrowserMark: http://browsermark.rightware.com/browsermark/index.action
- Vellamo Benchmark: https://market.android.com/details?id=com.quicinc.vellamo