AIモデル比較

数値表

モデル・推論設定	解決率	費用／試行（USD）	時間（分）
GPT-6 Astra (max)	58.2	9.9005	46.6
Fable 5.1 (max)	57.9	18.9197	64.9
GPT-6 Astra (xhigh)	57.9	7.1228	36.8
GPT-6 Astra (high)	57.9	6.8770	35.2
GPT-6 Astra (medium)	54.2	5.8024	31.4
Opus 5 (max)	51.8	18.0882	79.9
GPT-6 Astra (low)	50.6	4.7191	28.1
Fable 5 (max)	44.6	22.0152	70.0
GLM-5.3 (max)	41.8	8.2655	97.2
GPT-5.6 Sol (max)	37.3	7.7021	39.8
Opus 4.8 (max)	23.6	19.6402	86.1
GPT-5.6 Terra (max)	21.5	5.2531	41.9
Grok 4.6 (high)	20.3	10.8836	39.2
Gemini 3.8 Flash (high)	19.1	5.5417	33.3
GPT-5.6 Luna (max)	17.3	1.0505	68.1
Grok 4.5 (high)	12.4	6.3458	52.7
Sonnet 5 (max)	12.4	29.1026	108.5
Gemini 3.7 Flash (high)	11.2	3.8238	28.1
Fable 5.1 (xhigh)	57.9	14.7638	53.4
Fable 5.1 (high)	54.6	12.0769	50.3
Fable 5.1 (medium)	53.9	8.5845	42.1
Fable 5.1 (low)	43.3	7.1476	38.2
Claude Sonnet 5.5 (low)	20.0	0.7572	4.6
Claude Sonnet 5.5 (medium)	28.8	0.8347	4.9
Claude Sonnet 5.5 (high)	43.0	1.9401	8.0
Claude Sonnet 5.5 (xhigh)	61.5	5.2980	17.2
Claude Sonnet 5.5 (max)	70.6	12.5406	28.2
GPT-6 Sol (low)	9.1	0.4900	3.3
GPT-6 Sol (medium)	18.7	1.1200	5.6
GPT-6 Sol (high)	26.3	1.6000	7.8
GPT-6 Sol (xhigh)	30.3	1.9100	10.3
GPT-6 Sol (max)	43.9	4.0000	18.0
Claude Opus 5.5 (low・フォールバックあり)	31.3	2.0800	5.0
Claude Opus 5.5 (medium・フォールバックあり)	52.5	4.0400	9.9
Claude Opus 5.5 (high・フォールバックあり)	56.6	5.1200	12.6
Claude Opus 5.5 (xhigh・フォールバックあり)	59.6	8.7800	20.1
Claude Opus 5.5 (max・フォールバックあり)	59.6	13.1100	27.5
Gemini 3.8 Flash (low)	10.1	5.3800	9.2
Gemini 3.8 Flash (medium)	19.7	4.6100	8.6
GPT-6 Luna (low)	0.0	0.0100	0.4
GPT-6 Luna (medium)	2.5	0.0700	4.2
GPT-6 Luna (high)	4.5	0.1200	8.0
GPT-6 Luna (xhigh)	8.1	0.2000	11.0
GPT-6 Luna (max)	12.6	0.2400	14.1

注目のAIモデル比較

Terminal-Bench 4.0

Terminal-Benchは、AIエージェントがターミナルを使って作業を完了する能力を測るベンチマークです。4.0の解決率を0〜100%で示し、数値が高いほど多くの作業を完了できたことを表します。

モデル・実行構成	%
Claude Sonnet 5.5max	70.60
Claude Sonnet 5.5xhigh	61.50
GPT-6 Astramax	58.1895% CI half-width ±2.79 percentage points

Terminal-Bench 4.0：実行コスト

Terminal-Bench 4.0で報告された、330試行の評価にかかった合計費用です。単位は米ドル（USD）で、数値が小さいほど低コストです。APIのトークン単価や月額料金とは異なります。

モデル・実行構成	330試行の合計・USD
GPT-5.6 Lunamax	346.67
Gemini 3.7 Flashhigh	1,261.87
GPT-6 Astralow	1,557.30

TB4 平均試行時間

Terminal-Bench 4.0で、1試行を終えるまでにかかった平均時間です。単位は秒で、数値が小さいほど短時間で試行を終えています。応答を返し始めるまでの待ち時間とは異なります。

モデル・実行構成	秒
GPT-6 Astralow	1,683.70
Gemini 3.7 Flashhigh	1,688.90
GPT-6 Astramedium	1,885.90