近年、生成AIの流行に伴い、多くのビッグテック企業がAIソリューションを提供しています。特にChatGPTの登場以降、対話型AIや言語モデルの開発が活発化し、企業や個人が自社プロダクトに生成AIを組み込む事例が増えています。このような背景から、生成AIモデルの開発を視野に入れたエンジニアや中小企業の起業家たちの間で、AI実行可能なコンピューターデバイスへの関心が高まっています。
この流れを受けて、コンピューターの心臓部であるプロセッサにも変化が見られます。スマートフォンからPCに至るまで、NPU（Neural Processing Unit）と呼ばれる機械学習向けのコアが搭載されるようになりました。従来、機械学習モデルの推論処理はGPUを用いたGPGPUが中心でしたが、NPUの台頭により変化が起きています。
この記事では、これから機械学習（ML）開発を試みる開発者のために、GPUとNPUのそれぞれについて理解を深め、機械学習開発に適したコンピューターの選び方を解説します。まず前半ではNPUについて詳しく説明し、後半ではどのようなPCを選ぶべきかをプロセッサー処理性能とオペレーティングシステムの両面から紐解いていきます。
NPUとはNeural Processing Unit（神経処理装置）の略です。主に、機械学習をターゲットにした推論処理を得意とする演算装置です。とはいえ、この呼び名はチップのベンダーによって異なります。例えば、GoogleはPixelスマートフォンなどに採用しているTensor GシリーズプロセッサでこのNPUに相当するコアをTensor Processing Unit（TPU）と呼んでいますし、AppleデバイスではNeural Engineと呼ばれています。また、AMDなどの半導体メーカーも一般的にNPUという用語を使用していますが、他にもAccelerated Processing Unit（APU）といった関連用語も使用しています。
もちろん、名前が異なるように各ベンダーともに内部の設計や能力は大幅に異なります。つまり、NPUはCPU（中央処理装置）やGPU（グラフィックス処理装置）と同様に、特定の計算タスクに特化した処理装置の一種を表す総称と言えます。NPUは特に、従来のプロセッサと比べて機械学習タスクにおいて高いエネルギー効率と処理速度を実現することができます。
さて、ここからNPUに関してより深い内容に入っていきますが、その前にAIないしは機械学習における計算処理の概要を見ていきます。NPUの役割を理解するには機械学習で行われる計算処理についてある程度の理解が必要だからです。
機械学習で行われる計算は主に行列の演算と活性化関数の処理の2つです。まず、行列について説明しましょう。理工学やコンピューターサイエンスを専攻していない方にとっては馴染みがないかもしれませんが、基本的な概念は比較的シンプルです。行列は数字を規則的に配置した集合のことです。
まず、基本的な数の表現から見ていきましょう。
機械学習では、これらのベクトルや行列を用いて計算を行います。興味深いことに、これらの行列やベクトルに対しても、スカラーと同様の四則演算（加減乗除）を適用することができます。ただし、行列の演算には特有のルールがあります。例えば：
また、機械学習では行列演算に加えて活性化関数という特殊な関数を使用します。これらの関数は、ニューラルネットワークの各層で計算された値を次の層に渡す際に使用され、モデルに非線形性を導入する重要な役割を果たします。
このように、機械学習の内部では複雑な行列演算と活性化関数の適用が繰り返し行われ、それによってデータから特徴を学習し、予測や分類などのタスクを実行することができるのです。
さて、ここまで機械学習で行われる基本的な演算について見てきました。では、NPU（Neural Processing Unit）はこれらの演算にどのように適しているのでしょうか。
NPUは、まさにこのような行列演算と活性化関数の処理に特化して設計された専用のプロセッサです。その特徴は以下の点にあります：
これらの特徴により、NPUは従来のCPUやGPUと比較して、機械学習タスク、特に推論処理において圧倒的なパフォーマンスと電力効率を実現します。例えば、スマートフォンに搭載されたNPUは、リアルタイムの画像認識や自然言語処理を低消費電力で実行することを可能にしています。
また、クラウドやデータセンターでは、大規模なNPUクラスターが機械学習モデルのトレーニングや大量のデータに対する推論処理を高速に実行し、AIサービスの基盤となっています。
このように、NPUは機械学習の演算処理に最適化された「頭脳」として、現代のAI技術の発展に不可欠な役割を果たしているのです。
さて、主に機械学習に関わる処理を行う演算装置であることはわかりました。では、CPUやGPUといった演算装置と何が異なるのでしょうか？機械学習の処理はCPUやGPUではできないのでしょうか？
まず、CPUと対比するとNPUは高度な計算はできないが簡単な演算を並列で処理できる事が特徴です。
まず、CPUとNPUの違いから見ていきましょう。
CPU（中央処理装置）は、コンピュータの「万能選手」と言えます。ワープロ作成、ウェブブラウジング、ゲーム実行など、あらゆる種類の計算処理をこなすように設計されています。しかし、この汎用性が機械学習タスクにおいては必ずしも有利に働きません。
CPUの特徴：
一方、NPUの特徴：
これらの違いにより、NPUは機械学習タスク、特に推論処理において、CPUよりも圧倒的に高いパフォーマンスと電力効率を実現します。
比喩を用いて説明すると、CPUは多機能な家庭用包丁のようなものです。様々な調理タスクをこなせますが、特定の作業に特化しているわけではありません。一方、NPUは寿司職人が使う専用の包丁のようなものです。寿司を作る（機械学習タスクを処理する）という特定の作業において、極めて高い効率と精度を発揮します。
ただし、これは機械学習の処理がCPUでは全くできないということを意味するわけではありません。CPUでも機械学習の計算は可能ですが、大規模なモデルや実時間性が求められる応用では、NPUの方が圧倒的に有利となります。例えば、スマートフォンでリアルタイムの画像認識を行う場合、NPUを使用することで、CPUを使用する場合と比べて処理速度が数十倍以上速くなり、かつ消費電力も大幅に抑えることができます。
このように、NPUはCPUの汎用性を犠牲にする代わりに、機械学習タスクにおいて極めて高い効率と性能を実現しているのです。
ただし、ここで重要な補足があります。近年のCPU技術の進歩により、CPUとNPUの境界線が徐々に曖昧になりつつあります。例えば、ARMのSME（Scalable Matrix Extension）命令や、AppleのAMX（Advanced Matrix eXtensions）命令など、行列演算を高速に処理する機能が最新のCPUに搭載されるようになってきました。これらの拡張機能により、一部のCPUはNPUに近い行列演算性能を発揮することが可能になっています。
この進化は、汎用プロセッサであるCPUが、機械学習のような特定のワークロードに対してより効率的に対応できるようになったことを示しています。しかし、これはNPUの存在意義を否定するものではありません。むしろ、これらの新しいCPU機能は、NPUの設計思想がいかに重要であるかを裏付けており、今後はCPUとNPUの技術が互いに影響し合いながら発展していくことが予想されます。
結果として、デバイスやアプリケーションの要求に応じて、純粋なNPU、高度な行列演算機能を持つCPU、あるいはそれらの組み合わせなど、多様な選択肢が提供されるようになっています。これにより、エンジニアはそれぞれの状況に最適な処理装置を選択し、より効率的なシステム設計が可能になっているのです。
このような技術の収束と多様化は、コンピューティングの未来がより専門化と汎用化のバランスを取る方向に進んでいることを示唆しています。機械学習や人工知能の進化とともに、これらのプロセッサ技術もさらなる発展を遂げていくことでしょう。
次に、GPUとNPUの比較に移りましょう。GPUはもともとコンピュータグラフィックスの処理に特化したプロセッサですが、その高い並列処理能力から機械学習にも活用されており、NPUと似た特徴を持っています。しかし、両者には重要な違いがあります。
GPUの特徴：
NPUの特徴：
GPUとNPUの主な違い：
実際の使用例を見てみると、大規模なデータセンターでの機械学習モデルのトレーニングには独立型の高性能GPUが広く使用されています。一方、ノートPCやハイエンドモバイルデバイスでは、SoC搭載型のGPUが機械学習タスクを含む幅広い用途に活用されています。
スマートフォンやIoTデバイスなどでの機械学習の推論処理には、NPUが選択されることが増えていますが、一部の高性能モバイルデバイスではGPUがこの役割を担うこともあります。
この領域の技術は急速に進化しており、GPUとNPUの境界は徐々にあいまいになりつつあります。最新のGPUアーキテクチャは機械学習向けの最適化を進めており、一方でNPUも徐々に適用範囲を広げています。将来的には、これらのプロセッサの機能がさらに融合し、より効率的かつ汎用的なAI処理ユニットが登場する可能性もあります。
結論として、GPUとNPUはどちらも並列処理に優れたプロセッサですが、それぞれ異なる強みと用途を持っています。システム設計者やエンジニアは、特定のアプリケーションの要件、電力制約、性能要求に基づいて、これらのプロセッサを適切に選択し、組み合わせることが重要です。
NPUの概要を理解したところで、その性能をどのように判断すれば良いでしょうか。近年、多くのPCメーカーがNPUの性能を全面に押し出し、「強力なNPU = AI機能が速い」というマーケティング上のアピールをしています。しかし、実際の性能評価はそれほど単純ではありません。特に機械学習関連の開発を行うデベロッパーにとっては、実測の現実に即したパフォーマンスを評価する必要があります。以下に、NPUの性能を評価する上で重要な指標を見ていきましょう。
1. TOPS (Trillion Operations Per Second)
現状、NPUの性能を判断する最も一般的な公開指標がTOPSです。TOPSは1秒間に何兆回の演算を行えるかを表す単位です。例えば、40TOPSは1秒間に40兆回の演算を行える性能を示します。
ただし、TOPSだけで異なるアーキテクチャのNPUを直接比較するのは難しい場合があります。これは、実際の性能が演算の種類や精度、そしてワークロードの特性に大きく依存するためです。
2. 行列演算能力
NPUの能力を測る上で重要な項目が行列演算能力です。一回の計算でどれだけの要素数の行列を計算できるか、また、どの精度（例：INT8, FP16, FP32）で計算できるかが重要です。
例えば、20TOPSのNPUと40TOPSのNPUを比較する際、20TOPSのNPUが一度に4倍の大きさの行列を処理できる場合、実質的な性能は20TOPSのNPUの方が高くなる可能性があります。
3. メモリ効率性
機械学習の処理では、メモリとプロセッサー間のデータ転送速度が非常に重要です。高速な演算能力を持つNPUでも、データを瞬時にメモリに転送できなければその能力を十分に発揮できません。
メモリ効率性は以下の要素で評価できます：
4. コア連携効率
現代の機械学習ワークロードは、NPUだけでなく、CPU、GPU、さらには専用のアクセラレータなど、複数の演算ユニットを効率的に使用します。例えば：
したがって、高い機械学習性能を実現するには、これらの異なるコア間の効率的な連携が不可欠です。タスクスケジューリングの効率や、データ転送のオーバーヘッドなども重要な要素となります。
5. 電力効率
特にモバイルデバイスやエッジコンピューティングでは、単純な性能だけでなく、電力あたりの性能（性能/ワット）も重要な指標です。バッテリー寿命やデバイスの発熱に直接影響するため、実用的な観点から無視できない要素です。
6. ソフトウェアエコシステム
NPUの潜在能力を最大限に引き出すには、適切なソフトウェアツールやライブラリが不可欠です。開発者向けのSDK、最適化されたライブラリ、そしてフレームワークのサポートなどが、実際の開発効率と性能に大きく影響します。
7. ベンチマーク
標準化されたベンチマーク（例：MLPerf）を用いることで、異なるNPU間でより客観的な比較が可能になります。ただし、ベンチマークの結果が必ずしも特定のユースケースでの性能を反映するとは限らないことに注意が必要です。
性能評価の総合的アプローチ
NPUの総合的な性能は、以下の要素の組み合わせで評価できます：
(TOPS性能 × 行列演算能力 × メモリ効率) ÷ 消費電力 = トータル効率
さらに、このトータル効率にCPUやGPUとの連携性能を考慮することで、より実用的な性能指標が得られます。
ただし、これらの要素は必ずしも線形に寄与するわけではなく、実際のワークロードや使用シナリオによって重要度が変わることに注意が必要です。
NPUの性能評価は単一の指標だけでは不十分であり、複数の要素を総合的に考慮する必要があります。また、理論上の性能と実際のアプリケーションでの性能には差があることを理解し、目的に応じた適切な評価方法を選択することが重要です。開発者やエンジニアは、これらの多面的な要素を考慮しつつ、自身のユースケースに最適なNPUを選択することが求められます。
また、最近では Copilot+ PC の発表の影響で、40TOPS のNPU性能指標に注目が集まっています。しかし、機械学習開発者にとって、この数値だけを重視する必要はありません。
40TOPS という指標を強調したのは Microsoft の Copilot+ PC が先駆的でしたが、TOPS 性能だけでは機械学習の実際の性能を正確に反映できません。特に大規模言語モデルや Diffusion モデル、GAN などの生成モデルでは、INT4, INT8 などの低精度演算も重要ですが、40TOPS 程度では十分とは言えません。例えば、最新の大規模言語モデルでは、数百 TOPS から数千 TOPS の演算性能が必要とされる場合もあります。
実際、これらの生成 AI モデルを開発する場合、現時点では強力な演算機能を持つ GPU や高性能 CPU での処理が優位です。これらのプロセッサは、高い TOPS 性能だけでなく、大容量メモリ、高速なメモリ帯域幅、そして柔軟なプログラミング環境を提供するためです。
TOPS が単一の指標として強調されるのは、おそらくコモディティ化し右肩下がりの PC 市場に対して買い替えを促すためのマーケティング戦略の一環と考えられます。「AI PC」というイメージを通じて、まだ使える従来型の PC に対して革新的な価値を提示しようとしているのでしょう。
ただし、NPU技術は急速に進化しており、将来的にはより高性能で柔軟なNPUが登場する可能性もあります。そのため、NPUの潜在的な可能性を完全に無視するのではなく、その進化を注視することも重要です。
機械学習モデルを開発するデベロッパーは、PC メーカーのマーケティングに惑わされることなく、現実的な観点から開発デバイスを選ぶ必要があります。TOPS だけでなく、メモリ帯域幅、電力効率、ソフトウェアエコシステムの充実度、そして実際のワークロードでの性能を総合的に評価することが重要です。また、自身のプロジェクトの要件に基づいて、NPU、GPU、CPU のいずれが最適かを慎重に判断することが求められます。
機械学習機能を開発したい・いじってみたいデベロッパにとってはOSの仕様が一番快適性を左右するポイントになるかもしれません。
様々なオペレーティングシステムでAI機能は用意されていますが、開発者にとって大事なのはAI機能がどれだけ搭載されているかではなく、AI向けの開発がしやすい環境が整っているかとNPUなどの機械学習向けリソースにアクセスできるかの２つの視点が重要になります。
言うまでもなくWindowsはPC市場で最も普及しているオペレーティングシステムであり、ユーティリティやドキュメントが揃っているのが特徴です。コンシューマー市場ではPC市場のシュリンクとともにシェアを減らしつつはありますが、ほとんどのエンタープライズ領域では依然として非常に大きなシェアを獲得しています。もし、エンタープライズ領域においての機械学習ソリューションの開発を目指すのであれば、Windowsは有力な候補の一つとなります。
このオペレーティングシステムを採用する場合はいくつかの条件を照らし合わせて、開発を検討しているターゲットによって向き不向きが変わってきます。
いくつかのポイントを見ていきましょう。
Windowsは、特に日本でWeb系と呼ばれる開発領域や機械学習の分野において、課題が指摘されてきました。主な理由としてコマンドラインインターフェースの使いづらさが挙げられますが、近年のWSL 2（Windows Subsystem for Linux 2）の導入により、この問題は大幅に改善されています。WSL 2を使用することで、WindowsでほぼネイティブなLinux環境を利用できるようになりました。
Python環境の構築に関しても、以前は他のOSと比べて難しいと言われていましたが、最近では改善が見られます。Microsoft StoreからPythonを直接インストールできるようになったほか、Anacondaの利用も一般的になっています。ただし、一部のライブラリやツールでは依然としてLinuxやmacOSでの使用が推奨されているケースもあります。
WindowsはCopilot+ PC環境においてCopilot Runtimeを提供します。これは、AppleのCoreMLに近いMachine Learning向けのOS内蔵コンポーネントです。しかし、現段階ではこの環境を満たすマシンがSnapdragon Xシリーズのみに限られており、開発用マシンとしての採用には注意が必要です。
Snapdragon Xシリーズは電力効率に優れていますが、高負荷の開発タスクでは性能面で課題があります。特にGPU性能が、機械学習モデルの開発に必要な水準に達していない可能性があります。例えば、一部のベンチマークでは、ARM対応の動画編集ソフトでの書き出し時間がApple M2には及ばず、M1と同程度であるという結果が報告されています（具体的なベンチマーク結果や出典があれば追加するとよいでしょう）。
また、メモリ容量も最大32GBに制限されており、大規模な言語モデルやDiffusionモデルの開発では不足する可能性があります。
MicrosoftはDirectMLを通じて機械学習向けのGPUサポートを提供しています。過去にはCNTKなどの独自のフレームワークを推進していましたが、現在はTensorFlowやPyTorchなどの主要フレームワークとの互換性向上に注力しています。DirectMLは、多様なGPUハードウェアでの機械学習モデルの実行を可能にする点で注目されています。
ただし、NVIDIA GPUを使用する場合は、CUDAがより一般的で成熟したエコシステムを提供しているため、多くの開発者はCUDAを選択する傾向にあります。
以上の点を考慮すると、Windowsは特にエンタープライズ環境での開発や、Windows固有のアプリケーション開発において強みを持ちますが、純粋な機械学習研究や大規模モデルの開発では、現時点ではLinuxベースのシステムやmacOSがより適している場合が多いと言えるでしょう。ただし、MicrosoftのAI関連技術への投資は継続しており、今後の発展が期待されます。
現状、最も手軽に機械学習の開発をスタートできる商用OSの一つがmacOSです。特筆すべきは、macOSがApple Siliconチップに最適化されている点です。この緊密なハードウェアとソフトウェアの統合が、機械学習開発において大きなアドバンテージとなっています。
Apple Siliconの主な特徴と、それがmacOSでの機械学習開発にもたらす利点は以下の通りです：
macOSは、これらのハードウェア特性を最大限に活用できるように最適化されています。例えば：
さらに、iOS、iPadOS、そして最近では visionOS との高い共通性により、macOS上で開発した機械学習モデルを他のAppleデバイス向けアプリケーションに容易に転用できます。これは、モバイルやウェアラブルデバイスでのAI応用が増加するトレンドの中で、大きな利点となります。
ただし、macOSにも課題がないわけではありません。Windowsや Linux と比較すると、ハードウェアのカスタマイズ性に制限があります。また、一部の専門的な機械学習ツールやライブラリがmacOSに対応していない、または対応が遅れる場合もあります。
それでも、Python、TensorFlow、PyTorchなどの主要な機械学習ツールやフレームワークはmacOSで問題なく使用でき、活発な開発者コミュニティも存在します。Homebrewのようなパッケージマネージャーを通じて、多くのツールを簡単にインストールできる点も開発者にとっては利点です。
総合的に見て、macOSはApple Siliconの強力なハードウェア性能と、それを最大限に引き出すソフトウェア最適化により、機械学習開発に適した環境を提供しています。特に、Apple のエコシステム内でのアプリケーション開発を視野に入れている機械学習開発者にとって、macOSは非常に魅力的な選択肢となるでしょう。
機械学習の研究分野で最も広く用いられているオペレーティングシステムは Linux です。Linux の最大の利点は、開発者が必要とする性能に合わせてハードウェアをカスタマイズし、最適な開発環境を構築できることです。
Linux の主な利点：
ただし、Linux にも課題がないわけではありません：
結論として、Linux は機械学習開発、特に研究や大規模なモデル開発において、最も柔軟で強力な選択肢の一つです。ハードウェアのカスタマイズ性、GPU サポート、オープンソースエコシステムとの親和性など、多くの利点があります。ただし、その利点を最大限に活かすには、一定の技術的知識とセットアップの労力が必要です。Linux は、特に高度なカスタマイズや最大限のパフォーマンスを求める開発者、研究者にとって理想的な選択肢となるでしょう。
*1 GPGPU - GPUを本来の用途である画像処理以外の演算処理で用いること。GPUはGraphic Processing Unitと呼ばれ本来はゲームや動画といったグラフィックス系の処理を行う演算装置。この文脈では画像処理ではなくAIの処理で用いることを指している。