AnTuTuベンチマークを開発提供しているAnTuTuが、SoCのAI機能を測定するAITuTu Benchmark(安兎兎AI安兎兎)をリリースしました。
AITuTu BenchmarkはCPU性能やGPU性能などのを計測するAnTuTuベンチマークとは異なり、HiSilicon Kirin 980やSamsung Exynos 9820に搭載されたNPU(Neural-network Processing Unit)等を始めとするAI機能を測定するために生まれています。もちろん、NPUが搭載されていない過去のSoCを搭載したスマートフォンやNPUシステムを採用していないQualcomm Snapdragon搭載スマートフォンでも測定を行うことが可能です。
主な計測項目は画像分類(Image Classification)とオブジェクトの検出(Object Detection)で、測定画面は画像分類では様々な画像を食べ物なのか電気系統なのか分類するスピードを計測し、オブジェクトの検出では走行している車から見える景色で車や花壇などを認識しているのかを計測しています。
AnTuTuによるとこのAITuTu Benchmarkの特性として、AIの計算能力を評価しているのでSnapdragon 845とSnapdragon 710のようなDSPが同じである場合はスコアに大きな差が生まれません。そしてSamsungはAI SDKをリリースしていない為CPUによるAI機能を測定するので低得点になり、HiSilicon SoCはオブジェクト認識にTensorFlow Liteを使用しているのでスコアが低くなります(HiSiliconがHiAIをアップグレードすれば改善する可能性あり)。
大きな特徴としてAndroid OSのバージョンもスコアに影響を与えます。これはGoogleがシステムレベルでAIのサポートを最適化しているため、Android 9 PieとAndroid 8.0 Oreoで同条件で計測した場合前者のスコアが高くなります。
試しに計測してみました。計測に使用したのはMeizu 16th(Snapdragon 845)、Xiaomi Mi MIX 2S(Snapdragon 845)、Meizu PRO 7 Plus(Helio X30)、Meizu PRO 6 Plus(Exynos 8890)、Meizu M6 Note(Snapdragon 625)です。
リリースされたばかりという事で基準点はありませんが、3年前のExynos 8890が42,254点となっているのでこれ以上のスコアは欲しい所です。