ひとつの系譜。
多様な処理能力。

P十億個のパラメータを1重みqビットで格納する密なモデルでは、重みだけで約P × q / 8 GB（十進単位）を要します。実際には量子化メタデータ、実行時データ、活性、KVキャッシュ、OSの領域も必要です。この実験では、搭載メモリ全体を空き容量とせず、予約領域を明示して調整します。

非常に単純化したバッチ1のデコードモデルとして、1トークン生成ごとに有効な重みを1回読むと仮定します。帯域幅だけによる上限は、帯域幅を重みサイズで割った値です。演算、注意機構、キャッシュへのアクセス、フレームワークの負荷を除外した教材用の上限であり、実測の生成速度ではありません。MoEでは有効重みの数え方が必要で、バッチ処理では再利用が変わります。

例：80億個の重みを4ビットで保存すると、付加領域を除いて4 GBです。100 GB/sなら単純モデルの上限は25トークン/秒ですが、実機の予測値ではありません。

アムダールの法則では、直列部分の割合sと並列化できる部分を分けます。同じ速度の理想的なN個の処理主体による高速化は1 / (s + (1 − s) / N)です。20%が直列なら、処理主体を無限に増やしても5倍を超えません。実際にはスケジューリング、コア性能差、メモリ競合も影響します。

この実験は仮想的な同一性能の処理主体を使い、Appleのコアに架空の性能点数を割り当てません。並列化の性質を説明するもので、M1とM6の順位付けではありません。単一スレッド性能、専用演算、冷却余裕、アルゴリズムの改善は別の効果です。

例：直列部分が20%なら、8個で3.33倍、16個で4倍です。処理主体を倍増しても、速度の向上は20%にとどまります。

端末、メモリ構成、電力モード、アプリ、演算精度、モデル、処理内容を確認します。短い負荷と長時間のレンダリングでは条件が異なります。同じチップでも、ファンレス端末と能動冷却の端末では時間とともに差が出る場合があります。

Appleの「最大」の比較は指定条件での結果であり、普遍的な比率ではありません。異なる試験の比率を連結したり、精度が異なるTOPSを同一視したり、コア数を総合性能点数へ変換したりしないでください。このアトラスが描くのは仕様であり、架空の性能順位ではありません。

更新は制約に合わせて考えます。収まらない処理には容量、連続データ処理には帯域幅、対応描画にはGPU機能、直列処理にはCPUの遅延、対応コーデックにはメディアエンジンが重要です。アプリと端末全体を確認しましょう。