AIモデル・ベンチマーク図鑑

トークン単価と実際の課題費用

2026年9月15日に記録した通常のAPI料金です。単位は100万トークンあたりの米ドル。定額プランとは別です。単価は請求額の一要素で、課題あたりの費用には消費トークン量も反映されます。

Astraは入力272kトークン以下の料金です。キャッシュ書込、ツール料金、長文入力区分、その他のサービス形態で料金が異なる場合があります。予算を決める際は提供元の資料を確認してください。

SciCode：科学知識を動くコードにする

ベンチマーク全体は80の科学的な主問題を338の小問に分けています。Artificial Analysisはテスト集合の288小問を使い、科学者が書いた背景情報を与え、Pythonコードを単体テストで採点します。科学的な仕様を理解し、アルゴリズムに変換し、正しく実装する能力を組み合わせた評価です。

説明用の例（実際の出題の引用ではありません）：単位、配列の形、境界条件を正しく扱う数値計算関数を実装する。物理を美しく説明できても、関数が誤った値を返せば合格にはなりません。

小問合格率56%は、研究プロジェクトの56%を完遂できるという意味ではありません。C++、エンジン設計、シェーダー品質、フレーム時間も直接測りません。後発のSciCode-Verified監査は元の評価の欠陥を報告しています。この図鑑では改訂版の結果に置き換えず、Artificial Analysisが公開したSciCode値を保持しています。

GDPval：知識クイズではなく実務成果物

GDPval-AA v2は44職種にまたがる220の公開課題を評価します。エージェントはツールを使い、報告書、表計算、プレゼンテーションなどのファイルを作成します。複数のモデル審査員が提出物を比較し、専門家の成果物を1000とするElo尺度で報告します。v2では最大250ターンを利用できます。

説明用の例：参考資料を読み、計算に基づく提案を作り、実用的な表計算ファイルとメモを納品する。事実知識に加えて、ファイル操作、要件遵守、計算の確認、結果の伝達も影響します。

Eloはこの評価内での相対的な成績です。1700という値は「人間より70%優れる」ことや、代替できる職業の割合を意味しません。環境、ツール、審査方法も結果の一部です。

主力モデルなのに知識労働で負けるのはなぜか

「主力」は製品の位置付けであり、全試験での首位を意味しません。今回のxhighの記録では、丸めた総合指数はAstraとFable 5.1がともに53、Opus 5が50です。しかしGDPval-AAではOpus 5がAstraを上回ります。一方、同じ設定のGDP.pdfとAutomationBench-AAではAstraがOpusを上回ります。成果物作成、文書推論、業務自動化は異なる能力です。

この観測から分かるのは成績の傾向であり、内部的な原因ではありません。学習の重点、ツール利用、推論資源の配分、採点基準などが候補ですが、公表スコアだけでは原因を切り分けられません。必要な作業に近い評価を選び、代表的な実課題で確認することが大切です。