AIモデルを比較
数値表
| モデル・推論設定 | 解決率 | 費用／試行（USD） | 時間 |
|---|---|---|---|
| GPT-6 Astra (max) | 58.2 | 9.9005 | 47分 |
| GPT-6 Astra (xhigh) | 57.9 | 7.1228 | 37分 |
| GPT-6 Astra (high) | 57.9 | 6.8770 | 35分 |
| GPT-6 Astra (medium) | 54.2 | 5.8024 | 31分 |
| GPT-6 Astra (low) | 50.6 | 4.7191 | 28分 |
| Claude Sonnet 5.5 (low) | 20.0 | 0.7572 | 5分 |
| Claude Sonnet 5.5 (medium) | 28.8 | 0.8347 | 5分 |
| Claude Sonnet 5.5 (high) | 43.0 | 1.9401 | 8分 |
| Claude Sonnet 5.5 (xhigh) | 61.5 | 5.2980 | 17分 |
| Claude Sonnet 5.5 (max) | 70.6 | 12.5406 | 28分 |
AutomationBench 1.0.6：スコア
OpenAIが自社モデルを研究環境またはAPIで評価したAutomationBench 1.0.6のスコアです。全目標を達成したタスクの割合とは異なります。
| モデル・実行構成 | % |
|---|---|
| GPT-6 Astramax | 41.40 |
| GPT-6 Astraxhigh | 39.00 |
| GPT-6 Astrahigh | 37.10 |
| GPT-6 Astramedium | 34.10 |
| GPT-6 Astralow | 30.30 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
AutomationBench 1.0.6：1タスクの費用
OpenAIがAutomationBench 1.0.6で公表した1タスクあたりの費用です。APIの100万トークン単価とは異なります。
| モデル・実行構成 | 1タスクあたり・USD |
|---|---|
| GPT-6 Astralow | 1.0800 |
| GPT-6 Astramedium | 1.2700 |
| GPT-6 Astrahigh | 1.4400 |
| GPT-6 Astraxhigh | 1.5000 |
| GPT-6 Astramax | 1.7300 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
SMS迷惑判定：正答率
正解ラベルと一致した件数を500件で割った割合です。SMSは2分類、Banking77は77分類です。汎用知識やコード生成の能力は測っていません。
| モデル・実行構成 | % |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
SMS迷惑判定：処理時間 p50
500要求の処理時間を小さい順に並べた中央値です。ネットワーク・提供環境・出力形式を含みます。最初の応答までの時間（TTFT）ではありません。
| モデル・実行構成 | ms |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
SMS迷惑判定：処理時間 p95
500要求を昇順に並べ、floor(0.95 × (n − 1))番目を採った公開実装のp95です。遅い側の処理時間を示します。
| モデル・実行構成 | ms |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
SMS迷惑判定：1,000件の費用
評価時の費用合計を件数で割り、1,000倍した金額です。APIの100万トークン単価や自社運用の費用とは異なります。
| モデル・実行構成 | 1,000件あたり・USD |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
Banking77問い合わせ分類：正答率
正解ラベルと一致した件数を500件で割った割合です。SMSは2分類、Banking77は77分類です。汎用知識やコード生成の能力は測っていません。
| モデル・実行構成 | % |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
Banking77問い合わせ分類：処理時間 p50
500要求の処理時間を小さい順に並べた中央値です。ネットワーク・提供環境・出力形式を含みます。最初の応答までの時間（TTFT）ではありません。
| モデル・実行構成 | ms |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
Banking77問い合わせ分類：処理時間 p95
500要求を昇順に並べ、floor(0.95 × (n − 1))番目を採った公開実装のp95です。遅い側の処理時間を示します。
| モデル・実行構成 | ms |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
Banking77問い合わせ分類：1,000件の費用
評価時の費用合計を件数で割り、1,000倍した金額です。APIの100万トークン単価や自社運用の費用とは異なります。
| モデル・実行構成 | 1,000件あたり・USD |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
T-Rex：60秒生存率
5シードのうち60秒間生存した割合です。物理プランナーとshieldの介入を含む結果で、モデル単体の正確さや他用途への性能を示しません。
| モデル・実行構成 | % |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
T-Rex：処理時間 p50の中央値
APIのJevとローカルRTX 4090のCLMは実行条件が異なります。通信・実行環境を含むシステムの時間で、モデル単体の速度比較には使えません。
| モデル・実行構成 | ms |
|---|---|
| GPT-6 Astramax | この評価の公表値は未収録 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
Terminal-Bench 4.0
Terminal-Benchは、AIエージェントがターミナルを使って作業を完了する能力を測るベンチマークです。4.0の解決率を0〜100%で示し、数値が高いほど多くの作業を完了できたことを表します。
| モデル・実行構成 | % |
|---|---|
| Claude Sonnet 5.5max | 70.60 |
| Claude Sonnet 5.5xhigh | 61.50 |
| GPT-6 Astramax | 58.1895% CI half-width ±2.79 percentage points |
| GPT-6 Astraxhigh | 57.8895% CI half-width ±2.72 percentage points |
| GPT-6 Astrahigh | 57.8895% CI half-width ±2.97 percentage points |
| GPT-6 Astramedium | 54.2495% CI half-width ±2.66 percentage points |
| GPT-6 Astralow | 50.6195% CI half-width ±2.75 percentage points |
| Claude Sonnet 5.5high | 43.00 |
| Claude Sonnet 5.5medium | 28.80 |
| Claude Sonnet 5.5low | 20.00 |
Terminal-Bench 4.0：実行コスト
Terminal-Bench 4.0で報告された、330試行の評価にかかった合計費用です。単位は米ドル（USD）で、数値が小さいほど低コストです。APIのトークン単価や月額料金とは異なります。
| モデル・実行構成 | 330試行の合計・USD |
|---|---|
| GPT-6 Astralow | 1,557.30 |
| GPT-6 Astramedium | 1,914.80 |
| GPT-6 Astrahigh | 2,269.42 |
| GPT-6 Astraxhigh | 2,350.51 |
| GPT-6 Astramax | 3,267.18 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
Terminal-Bench 4.0：平均試行時間
Terminal-Bench 4.0で、1試行を終えるまでにかかった平均時間です。分（1分以下は秒）で表示し、数値が小さいほど短時間で試行を終えています。応答を返し始めるまでの待ち時間とは異なります。
| モデル・実行構成 | 分・秒 |
|---|---|
| GPT-6 Astralow | 28分 |
| GPT-6 Astramedium | 31分 |
| GPT-6 Astrahigh | 35分 |
| GPT-6 Astraxhigh | 37分 |
| GPT-6 Astramax | 47分 |
| Claude Sonnet 5.5low | この評価の公表値は未収録 |
API料金
| 実行構成 | 種別・単価 | 適用条件・出典 |
|---|---|---|
| GPT-6 Astra / OpenAI standard API | input: 10 USD / 1M tokens | 条件・出典Standard API, input up to 272000 tokens
モデルに対応する標準APIの単価。性能評価に使用された構成・実行費用とは別。（確認日 2026-09-27） developers.openai.com |
| GPT-6 Astra / OpenAI standard API | output: 50 USD / 1M tokens | 条件・出典Standard API, input up to 272000 tokens
モデルに対応する標準APIの単価。性能評価に使用された構成・実行費用とは別。（確認日 2026-09-27） developers.openai.com |
| GPT-6 Astra / OpenAI standard API | cache: 1 USD / 1M tokens | 条件・出典Standard API, input up to 272000 tokens
モデルに対応する標準APIの単価。性能評価に使用された構成・実行費用とは別。（確認日 2026-09-27） developers.openai.com |
| Claude Sonnet 5.5 / Anthropic standard API | input: 2 USD / 1M tokens | 条件・出典Claude API Standard。キャッシュ入力は読取料金。キャッシュ書込・Batch料金・別モデルへのフォールバック利用分は別。
モデルに対応する標準APIの単価。性能評価に使用された構成・実行費用とは別。（確認日 2026-09-29） platform.claude.com |
| Claude Sonnet 5.5 / Anthropic standard API | output: 10 USD / 1M tokens | 条件・出典Claude API Standard。キャッシュ入力は読取料金。キャッシュ書込・Batch料金・別モデルへのフォールバック利用分は別。
モデルに対応する標準APIの単価。性能評価に使用された構成・実行費用とは別。（確認日 2026-09-29） platform.claude.com |
| Claude Sonnet 5.5 / Anthropic standard API | cache: 0.1 USD / 1M tokens | 条件・出典Claude API Standard。キャッシュ入力は読取料金。キャッシュ書込・Batch料金・別モデルへのフォールバック利用分は別。
モデルに対応する標準APIの単価。性能評価に使用された構成・実行費用とは別。（確認日 2026-10-08T15:06:01.964296+09:00） platform.claude.com |