AIモデルを比較
数値表
| モデル・推論設定 | 解決率 | 費用／試行（USD） | 時間 |
|---|---|---|---|
| Claude Sonnet 5.5 (max) | 63.9 | 22.2232 | 124分 |
| GPT-6 Astra (max) | 60.3 | 9.9005 | 47分 |
| GPT-6 Astra (high) | 60.0 | 6.8770 | 35分 |
| GPT-6 Astra (xhigh) | 59.7 | 7.1228 | 37分 |
| GPT-6 Astra (medium) | 55.2 | 5.8024 | 31分 |
| GPT-6 Astra (low) | 50.9 | 4.7191 | 28分 |
Agents’ Last Exam v1：スコア
OpenAIが公表した同じ評価の設定別の値。
| モデル・実行構成 | % |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
Agents’ Last Exam v1：1タスクの費用
OpenAIが公表した同じ評価の設定別の値。
| モデル・実行構成 | USD / タスク |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
MMMU-Pro (Vision)：スコア
OpenAIが公表した同じ評価の設定別の値。
| モデル・実行構成 | % |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
MMMU-Pro (Vision)：1タスクの費用
OpenAIが公表した同じ評価の設定別の値。
| モデル・実行構成 | USD / タスク |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
AutomationBench 1.0.6：スコア
OpenAIが自社モデルを研究環境またはAPIで評価したAutomationBench 1.0.6のスコアです。全目標を達成したタスクの割合とは異なります。
| モデル・実行構成 | % |
|---|---|
| GPT-6 Astramax | 41.40 |
| GPT-6 Astraxhigh | 39.00 |
| GPT-6 Astrahigh | 37.10 |
| GPT-6 Astramedium | 34.10 |
| GPT-6 Astralow | 30.30 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
AutomationBench 1.0.6：1タスクの費用
OpenAIがAutomationBench 1.0.6で公表した1タスクあたりの費用です。APIの100万トークン単価とは異なります。
| モデル・実行構成 | 1タスクあたり・USD |
|---|---|
| GPT-6 Astralow | 1.0800 |
| GPT-6 Astramedium | 1.2700 |
| GPT-6 Astrahigh | 1.4400 |
| GPT-6 Astraxhigh | 1.5000 |
| GPT-6 Astramax | 1.7300 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
OSWorld 2.1：スコア
OpenAIが公表した同じ評価の設定別の値。
| モデル・実行構成 | % |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
OSWorld 2.1：1タスクの費用
OpenAIが公表した同じ評価の設定別の値。
| モデル・実行構成 | USD / タスク |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
SMS迷惑判定：正答率
正解ラベルと一致した件数を500件で割った割合です。SMSは2分類、Banking77は77分類です。汎用知識やコード生成の能力は測っていません。
| モデル・実行構成 | % |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
SMS迷惑判定：処理時間 p50
500要求の処理時間を小さい順に並べた中央値です。ネットワーク・提供環境・出力形式を含みます。最初の応答までの時間（TTFT）ではありません。
| モデル・実行構成 | ms |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
SMS迷惑判定：処理時間 p95
500要求を昇順に並べ、floor(0.95 × (n − 1))番目を採った公開実装のp95です。遅い側の処理時間を示します。
| モデル・実行構成 | ms |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
SMS迷惑判定：1,000件の費用
評価時の費用合計を件数で割り、1,000倍した金額です。APIの100万トークン単価や自社運用の費用とは異なります。
| モデル・実行構成 | 1,000件あたり・USD |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
Banking77問い合わせ分類：正答率
正解ラベルと一致した件数を500件で割った割合です。SMSは2分類、Banking77は77分類です。汎用知識やコード生成の能力は測っていません。
| モデル・実行構成 | % |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
Banking77問い合わせ分類：処理時間 p50
500要求の処理時間を小さい順に並べた中央値です。ネットワーク・提供環境・出力形式を含みます。最初の応答までの時間（TTFT）ではありません。
| モデル・実行構成 | ms |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
Banking77問い合わせ分類：処理時間 p95
500要求を昇順に並べ、floor(0.95 × (n − 1))番目を採った公開実装のp95です。遅い側の処理時間を示します。
| モデル・実行構成 | ms |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
Banking77問い合わせ分類：1,000件の費用
評価時の費用合計を件数で割り、1,000倍した金額です。APIの100万トークン単価や自社運用の費用とは異なります。
| モデル・実行構成 | 1,000件あたり・USD |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
T-Rex：60秒生存率
5シードのうち60秒間生存した割合です。物理プランナーとshieldの介入を含む結果で、モデル単体の正確さや他用途への性能を示しません。
| モデル・実行構成 | % |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
T-Rex：処理時間 p50の中央値
APIのJevとローカルRTX 4090のCLMは実行条件が異なります。通信・実行環境を含むシステムの時間で、モデル単体の速度比較には使えません。
| モデル・実行構成 | ms |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
Terminal-Bench 4.1
Terminal-Benchは、AIエージェントがターミナルを使って作業を完了する能力を測るベンチマークです。4.1の解決率を0〜100%で示し、数値が高いほど多くの作業を完了できたことを表します。
| モデル・実行構成 | % |
|---|---|
| Claude Sonnet 5.5max | 63.94 |
| GPT-6 Astramax | 60.30 |
| GPT-6 Astrahigh | 60.00 |
| GPT-6 Astraxhigh | 59.70 |
| GPT-6 Astramedium | 55.15 |
| GPT-6 Astralow | 50.91 |
Terminal-Bench 4.1：実行コスト
Terminal-Bench 4.1で報告された、330試行の評価にかかった合計費用です。単位は米ドル（USD）で、数値が小さいほど低コストです。APIのトークン単価や月額料金とは異なります。
| モデル・実行構成 | 330試行の合計・USD |
|---|---|
| GPT-6 Astralow | 1,557.30 |
| GPT-6 Astramedium | 1,914.80 |
| GPT-6 Astrahigh | 2,269.42 |
| GPT-6 Astraxhigh | 2,350.51 |
| GPT-6 Astramax | 3,267.18 |
| Claude Sonnet 5.5max | 7,333.64 |
Terminal-Bench 4.1：平均試行時間
Terminal-Bench 4.1で、1試行を終えるまでにかかった平均時間です。単位は秒で、数値が小さいほど短時間で試行を終えています。応答を返し始めるまでの待ち時間とは異なります。
| モデル・実行構成 | 秒 |
|---|---|
| GPT-6 Astralow | 1,683.70 |
| GPT-6 Astramedium | 1,885.90 |
| GPT-6 Astrahigh | 2,113.70 |
| GPT-6 Astraxhigh | 2,208.50 |
| GPT-6 Astramax | 2,796.30 |
| Claude Sonnet 5.5max | 7,431.60 |
Terminal-Bench-Science 0.1：スコア
OpenAIが公表した同じ評価の設定別の値。
| モデル・実行構成 | % |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
Terminal-Bench-Science 0.1：1タスクの費用
OpenAIが公表した同じ評価の設定別の値。
| モデル・実行構成 | USD / タスク |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
難しいプロンプトの事実誤認率：事実誤認率
OpenAIが公表した同じ評価の設定別の値。
| モデル・実行構成 | % |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
難しいプロンプトの事実誤認率：1タスクの費用
OpenAIが公表した同じ評価の設定別の値。
| モデル・実行構成 | USD / タスク |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
API料金
| 実行構成 | 種別・単価 | 適用条件・出典 |
|---|---|---|
| GPT-6 Astra / OpenAI standard API | input: 10 USD / 1M tokens | 条件・出典Standard API, input up to 272000 tokens
モデルに対応する標準APIの単価。性能評価に使用された構成・実行費用とは別。（確認日 2026-09-27） developers.openai.com |
| GPT-6 Astra / OpenAI standard API | output: 50 USD / 1M tokens | 条件・出典Standard API, input up to 272000 tokens
モデルに対応する標準APIの単価。性能評価に使用された構成・実行費用とは別。（確認日 2026-09-27） developers.openai.com |
| GPT-6 Astra / OpenAI standard API | cache: 1 USD / 1M tokens | 条件・出典Standard API, input up to 272000 tokens
モデルに対応する標準APIの単価。性能評価に使用された構成・実行費用とは別。（確認日 2026-09-27） developers.openai.com |
| Claude Sonnet 5.5 / Anthropic standard API | input: 2 USD / 1M tokens | 条件・出典Claude API Standard。キャッシュ入力は読取料金。キャッシュ書込・Batch料金・別モデルへのフォールバック利用分は別。
モデルに対応する標準APIの単価。性能評価に使用された構成・実行費用とは別。（確認日 2026-09-29） platform.claude.com |
| Claude Sonnet 5.5 / Anthropic standard API | output: 10 USD / 1M tokens | 条件・出典Claude API Standard。キャッシュ入力は読取料金。キャッシュ書込・Batch料金・別モデルへのフォールバック利用分は別。
モデルに対応する標準APIの単価。性能評価に使用された構成・実行費用とは別。（確認日 2026-09-29） platform.claude.com |
| Claude Sonnet 5.5 / Anthropic standard API | cache: 0.1 USD / 1M tokens | 条件・出典Claude API Standard。キャッシュ入力は読取料金。キャッシュ書込・Batch料金・別モデルへのフォールバック利用分は別。
モデルに対応する標準APIの単価。性能評価に使用された構成・実行費用とは別。（確認日 2026-10-08T15:06:01.964296+09:00） platform.claude.com |