Αξιόπιστοι τεχνικοί αποκαλύπτουν πως η Samsung έχει συμπεριλάβει δημοφιλή μετροπρογράμματα επιδόσεων σε λίστα app που κάνουν τις μηχανές του Galaxy S4 να δουλεύουν στο φουλ, ενώ σε πραγματικές συνθήκες δεν λειτουργούν ποτέ με αυτό το ρυθμό. Έτσι, τα αποτελέσματα των μετρήσεων από τα benchmark που κατονομάζονται θεωρούνται αναξιόπιστα και εξαιρούνται από τις συγκρίσεις του S4 με ανταγωνιστικά smartphone.

O Exynos 5 Octa είναι ο επεξεργαστής εφαρμογών που παρουσίασε η Samsung τον Ιανουάριο του 2013, ο οποίος αξιοποιείται στις δύο εκδόσεις του Samsung Galaxy S4. Μετά τον Exynos 4 Quad και τον Exynos 5 Dual -τον οποίο επέλεξε η Google για το Nexus 10 αλλά και το Chromebook, η Samsung προσέθεσε στην οικογένεια Exynos τον οκταπύρηνο Exynos 5 Octa.

Η συμβολή της ARM ήταν ουσιαστική, αφού ανέπτυξε μια νέα τεχνολογία επεξεργαστών που φέρει την χαρακτηριστική ονομασία big.LITTLE: Ο Exynos 5 Ocra είναι ένα SoC (system on a chip application processor) που αποτελείται από οκτώ πυρήνες, στο ίδιο κομμάτι πυριτίου κατασκευασμένο στην κλίμακα των 28 νανομέτρων. Tέσσερις «μεγάλοι» ARM Cortex-15 αναλαμβάνουν τις απαιτητικές σε επεξεργαστική ισχύ διεργασίες. Τέσσερις «μικροί» Cortex-7 εξυπηρετούν τον μικρότερο, συνήθη φόρτο εργασίας (δηλαδή, την πλειονότητα των διεργασιών). Κάθε πυρήνας είναι βελτιστοποιημένος για διαφορετικές διεργασίες και μπορεί να λειτουργούν όλοι μαζί.

Χάρη στην προσέγγιση αυτή, Samsung και ARM υποστηρίζουν πως κατάφεραν να αυξήσουν έως και 70% την ενεργειακή απόδοση σε σχέση με τον προγενέστερο τετραπύρηνο Exynos, αυξάνοντας την αυτονομία των συσκευών. Αυτή η συνύπαρξη διαφορετικών πυρήνων και ο διαμοιρασμός των εργασιών ελαχιστοποίησε τις ανάγκες σε μπαταρία, χωρίς να θυσιάζει τις επιδόσεις, είπαν από το βήμα της CES 2013.

Σε ένα πρότυπο tablet για τις ανάγκες της επίδειξης έδειξαν ως παράδειγμα ότι, οι πυρήνες Cortex-15 ανέλαβαν την αναπαραγωγή βίντεο HD που μεταδιδόταν με τεχνολογία ροής (HD streaming) και την σχεδίαση στα απαιτητικά γραφικά ενός παιχνιδιού, όταν το Web browsing και η σχεδίαση των χαρτών πλοήγησης αποτέλεσαν τον φόρτο εργασίας στους Cortex-7.

Βελτιστοποίηση για τις ανάγκες των benchmarks

Οι μετρήσεις ενός χρήστη από το Λουξεμβούργο, του Nebuchadnezzar, κίνησαν υποψίες για την συμπεριφορά της κεντρικής μονάδας επεξεργασίας γραφικών, την GPU του Exynos 5 Octa, και συγκεκριμένα την GPU για την μία έκδοση του Octa, 5410.

Ο… «Ναβουχοδονόσωρ» παρατήρησε πως ο χρόνος κύκλου του ρολογιού της GPU αυξομειωνόταν ανάλογα με το μετροπρόγραμμα που δοκίμαζε τις αντοχές του -στο AnTuTu και στο GLBenchmark η GPU ήταν χρονισμένη στα 532MHz, ενώ σε όλα τα άλλα apps έπεφτε στα 480MHz. Αυτό έδειχνε ότι,  σε πραγματικές συνθήκες, η GPU δεν θα ανέβαζε ποτέ τον χρόνο κύκλου του ρολογιού στα 532MHz, όταν όμως έτρεχε μετροπρόγραμμα ανέβαζε ταχύτητα.

Η ανακάλυψη αποτέλεσε πρόκληση και για άλλα σάιτ τεχνολογίας, όπως το ιστορικό AnandTech.com. Παρά το γεγονός ότι η Samsung δεν έχει ανακοινώσει MHz, ο Άναντ γνωστός για τις αξιόπιστες δοκιμές του επί σειρά ετών, διαπίστωσε πως όχι μόνο η μονάδα επεξεργασίας γραφικών αλλά και η οκταπύρηνη κεντρική μονάδα επεξεργασίας στον Exynos 5 Octa που βρίσκεται στην καρδιά μιας από τις δύο εκδόσεις του Samsung Galaxy S4 (5410) έβαζε τα δυνατά της όταν έτρεχε benchmark. Αυτή όμως δεν ήταν απόδειξη ότι η Samsung «κλέβει» στα μετροπρογράμματα.

Ένας hex editor που άνοιξε ένα από τα αρχεία του συστήματος αποκάλυψε ένα string με την χαρακτηριστική ονομασία BenchmarkBooster στην λίστα με τα app που θα απολαμβάνουν καλύτερες επιδόσεις από άλλα. Το string αυτό θεωρήθηκε ότι αφορά σε μια ομάδα app  μετροπρογραμμάτων που χρησιμοποιούνται για την σύγκριση των επιδόσεων διαφορετικών συστημάτων. Ως εκ τούτου, συμπέραναν οι μηχανικοί του AnandTech ότι η κατασκευάστρια εταιρεία είχε συμπεριλάβει στα app που θα θέτουν σε κίνηση όλο το δυναμικό του επεξεργαστή και κάποια κοινά μετροπρογράμματα που μετρούν τις επιδόσεις, και στα app που εξοικονομούν ενέργεια άλλα κοινά benchmark που μετρούν την αυτονομία.

Η επιβεβαίωση του ισχυρισμού του Nebuchadnezzar από τον Άναντ και τον συνεργάτη του Μπράιν Κλαγκ οδήγησε στο συμπέρασμα πως η Samsung επιχείρησε να ξεγελάσει τα μετροπρογράμματα προς όφελός της, αφού δεν άφησε το σύστημα να λειτουργήσει υπό κανονικές συνθήκες. Έτσι, τα αποτελέσματα των μετρήσεων του Samsung Galaxy S4 με το GLBenchmark 2.5.1, το AnTuTu, το Quadrant, το Linpack, και το Benchmark Pi ευνοούν το σύστημα (προσδίδοντάς του επιδόσεις αυξημένες κατά 10% «πειράζοντας» το voltage και το ρολόι του επεξεργαστή) και ως εκ τούτου δεν πρέπει να εξάγονται συμπεράσματα απέναντι στον ανταγωνισμό με βάση τις μετρήσεις τους. Ανεπηρέαστα το GFXBench 2.7.0 (γνωστό μέχρι πρότινος ως GLBenchmark 2.7.0) και Epic Citadel.
Το AnandTech τεκμηριώνει την ίδια συμπεριφορά της CPU και για την έκδοση του Galaxy S 4 με επεξεργαστή της Qualcomm.

Το φαινόμενο δεν είναι νέο, γράφουν οι συντάκτες του άρθρου -ανάλογη σκοτεινή πλευρά υπήρχε και στην εποχή των PC, ωστόσο η βελτιστοποίηση για χάρη των benchmark από τον κατασκευαστή μπορεί να γίνει μπούμερανγκ και να χαλάσει την εικόνα ενός εξαιρετικού προϊόντος, σε μια εποχή που οι επιδόσεις δεν έχουν τόση σημασία όσο η εμπειρία του τελικού χρήστη.

in