Geekbenchを開発・提供しているカナダのPrimate Labs Inc.は機械学習の性能を計測するGeekbench MLを公開しました。
MLは機械学習(Maschine Learning)を意味し、名称通り機械学習の性能を計測するベンチマークソフトとなっています。機械学習はGoogleが提供するTensorFlow Liteフレームワークを用いて計測され、主な計測項目は「Image Classification(画像分類)」、「Image Segmentation(画像セグメンテーション)」、「Object Detection(物体検出)」、「Face Detection(顔検出)」、「Pose Estimation(姿勢推定)」、「Machine Translation(機械翻訳)」、「Text Classification(テキスト分類)」の7つです。
Primate Labsは、ビデオ会議ツールは「Image Segmentation」を使用して自動背景ぼかしなどの機能を提供、ソーシャルメディアのアプリは「Face Detection」を使用して仮想メイクアップフィルターや顔修正フィルターなどの機能を提供、エクササイズアプリは「Pose Estimation」を使用して体の姿勢を検出し特定のエクササイズに関するフィードバックやガイダンスを提供、「Machine Translation」はウェブページやテキストメッセージや画像内のテキストをデバイス上でリアルタイムに翻訳する際に使用すると説明しています。
計測はCPU、GPU、Core ML(iOS)/NNAPI(Android)で計測でき、クロスプラットフォームでの比較に対応していると表明。比較の際はCPUとCPU、GPUとGPUなど同じバックエンドで対応し、CPUとGPUのような異なる性質での比較は出来ません。
スコアは2020年似発表されたLenovo ThinkStation P340(Core i7-10700搭載)の1,500点が基準点で、スコアが同じであれば性能は同等、2倍になると性能も2倍です。
現在はiOS 14以降、Android 9 Pie以降のiOS搭載製品とAndroid OS搭載製品が対応しています。公開されたGeekbench MLはプレビュー版のGeekbench ML 0.5で、次期バージョンのv0.6.0でLinux(Ubuntu 18.04 LTS)、macOS(macOS 10.15)、Windows(Windows 10)に対応し、最終的なGeekbench ML 1.0は今年後半にリリースされる予定です。