AnTuTuベンチマークを開発提供しているAnTuTuによるスマートフォンのAI機能を測定するAITuTu BenchmarkがGoogle Play Store上に公開されました。既に中国市場向けにリリースされていますが、今回のはGoogle Playを利用できる多くの国々向けとなっています。
AITuTu BenchmarkはCPU性能やGPU性能などのを計測するAnTuTuベンチマークとは異なり、HiSilicon Kirin 980やSamsung Exynos 9820に搭載されたNPU(Neural-network Processing Unit)等を始めとするAI機能を測定するために生まれています。もちろん、NPUが搭載されていない過去のSoCを搭載したスマートフォンやNPUシステムを採用していないQualcomm Snapdragon搭載スマートフォンでも測定を行うことが可能です。
主な計測項目は画像分類(Image Classification)とオブジェクトの検出(Object Detection)で、測定画面は画像分類では様々な画像を食べ物なのか電気系統なのか分類するスピードを計測し、オブジェクトの検出では走行している車から見える景色で車や花壇などを認識しているのかを計測しています。
AnTuTuによるとこのAITuTu Benchmarkの特性として、AIの計算能力を評価しているのでSnapdragon 845とSnapdragon 710のようなDSPが同じである場合はスコアに大きな差が生まれません(スピードは変わります)。そしてSamsungはAI SDKをリリースしていない為CPUによるAI機能を測定するので低得点になり、HiSilicon SoCはオブジェクト認識にTensorFlow Liteを使用しているのでスコアが低くなります(HiSiliconがHiAIをアップグレードすれば改善する可能性あり)。
大きな特徴としてAndroid OSのバージョンもスコアに影響を与えます。これはGoogleがシステムレベルでAIのサポートを最適化しているため、Android 9 PieとAndroid 8.0 Oreoで同条件で計測した場合前者のスコアが高くなります。