｢iOS 11.2.2｣へのアップデートでベンチマークスコアに影響が出るのか調べてみた

先日からCPUに悪用可能な脆弱性｢Meltdown｣と｢Spectre｣が存在することが明らかになった問題で、Appleは｢Meltdown｣に対しては｢iOS 11.2｣、｢Spectre｣に対しては｢iOS 11.2.2｣（SafariとWebKit）で影響緩和策を導入しており、これらアップデートによりパフォーマンスが低下すると言われていますが、個人的にも手持ちの｢iPhone｣でベンチマークを測定してみました。

昨日に海外のMelv1nというサイトが｢iPhone 6｣を｢iOS 11.1.2｣から｢iOS 11.2.2｣にアップデートしたところ、主にCPUの性能を測定する｢GeekBench｣のベンチマークスコアが40〜50％もダウンしたと報告している事が話題になりましたが、筆者が｢iPhone 7｣、｢iPhone SE｣でテストしたところ、そのような大幅な低下は見られませんでした。

iPhone SE

｢iPhone SE｣では｢iOS 11.0.1｣から｢iOS 11.2.2｣にアップデートした際のベンチマークテストを実施しましたが、結果は下記の通りで、シングルコアで0.6%ダウン、マルチコアで0.06%アップと、ほぼ誤差範囲内といった結果になりました。

念のため、Antutuベンチマークでも計測してみましたが、こちらは逆に9.7%アップといった結果となっています。
（CPUのスコアだけだと0.5%アップ）

iPhone 7

｢iPhone 7｣では｢iOS 11.2.1｣から｢iOS 11.2.2｣にアップデートした際のベンチマークテストを実施しましたが、結果は下記の通りで、シングルコアで0.8%ダウン、マルチコアで4%ダウンとなっています。

A9プロセッサを搭載した｢iPhone SE｣に対して、A10プロセッサを搭載した｢iPhone 7｣の方がスコアが悪いのが気になりますが、古いバッテリーによる性能抑制問題が影響しているのでしょうか。
（購入時期はiPhone SEが2017年3月、iPhone 7が2016年9月。これについては、後日、iPhone 7のバッテリーを交換して測定し直してみたいと思います）

（追記）
その後、コメントにて教えて頂き気付きましたが、今回使用した｢iPhone 7｣は低電力モードになっていたことからスコアが低くなっていた事が分かりました。
低電力モードをオフにして測定し直してみましたが、｢iOS 11.2.2｣でシングルコアが2282点、マルチコアが3781点といった結果になりました。

また、Antutuベンチマークでは1.2%ダウンとなりました。
（CPUだけのスコアは1.6%ダウン）

iPhone X

読者の方に、｢iPhone X｣でのベンチマークデータを頂きましたので、紹介させて頂きます。

｢iPhone X｣をを｢iOS 11.1｣から｢iOS 11.2.2｣にアップデートした際のベンチマークスコアの比較で、シングルコアで約1.9%ダウン、マルチコアでは約0.5%アップといった結果となり、大きな差はない事が分かります。

iPhone X の結果も もしよければどうぞ…。https://t.co/MPdAfsmWvh pic.twitter.com/zHRgOIQVRJ

— treastrain / Tanaka Ryoga (@treastrain) 2018年1月13日

iPhone 6

最後に、Melv1nが公開して話題になった｢iPhone 6｣のGeekBenchのスコアをデータベースにアップロードされたデータからまとめてみました。

サンプル数（100件）が少ないのであくまで参考ですが、｢iOS 11.2.2｣と｢iOS 11.2〜11.2.1｣を比較すると、平均値では｢iOS 11.2.2｣の方が｢iOS 11.2〜11.2.1｣に対し9〜10％ほど高いスコアとなっており、最大値はほぼ同じ、最小値は｢iOS 11.2.2｣の方が7〜12％高いスコアとなっています。

Melv1nが報告するシングルコアで900点台、マルチコアで1,600点台といった低いスコアも確かに多数報告されていますが、これら低いスコアは｢iOS 11.2.2｣だけでなく、｢iOS 11.2｣や｢iOS 11.1.x｣以前のバージョンでも同様に報告されており、なぜこのようなスコアが出ているのかは不明ですが、今回のCPUの脆弱性に対するアップデート（iOS 11.2.2とiOS 11.2）よりも、｢iOS 10.2.1｣から導入された古いバッテリーによるシステムへの影響を軽減するための性能抑制機能や、他の要因の方が影響が大きいのではないかと予想されます。

なお、｢Spectre｣に対して緩和策が行われた｢iOS 11.2.2｣ではSafariとWebKitで修正が行われているので、また時間がある時にブラウザのパフォーマンスのベンチマークも調べてみたいと思います。

・ARM ベースおよび Intel CPU の投機的実行の脆弱性について – Apple
・iPhoneのバッテリーとパフォーマンスについて – Apple