論文の概要: StateM: Reaching 95.3% Raw Accuracy, or a \$15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling
- arxiv url: http://arxiv.org/abs/2608.15089v1
- Date: Sat, 15 Aug 2026 07:16:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.183143
- Title: StateM: Reaching 95.3% Raw Accuracy, or a \$15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling
- Title（参考訳）: StateM: Harness Scaling による Terminal-Bench 2.1 での 95.3% の生検,すなわち 15 ドルフロンティアランの取得
- Abstract要約: StateMは、耐久性のある状態、フェーズローカルコンテキスト、チェックされたトランジション、リカバリ可能なランブック、バージョン管理された手続きプラクティスを中心に実行を整理する。
StateMは445の試験で95.3%の生の精度に達し、少なくとも89のタスクで1度は成功している。
- 参考スコア（独自算出の注目度）: 4.896437190911549
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-horizon agents can fail even when their underlying models can solve the constituent steps. They may lose track of mutable state, fail to reactivate lessons from earlier executions, skip known procedures, or stop prematurely. We bet on harness scaling to improve the execution system around an agent without changing its model weights. We introduce StateM, an agent-native runtime that organizes execution around durable states, phase-local context, checked transitions, recoverable runbooks, and versioned procedural practices that agents and users can inspect together. On Terminal-Bench 2.1, StateM raises GPT-5.5 xhigh to 92.1\%, versus 83.1\% reference and GPT-5.6 Sol Ultra at 91.9\%. The runbook transfers unchanged to GPT-5.6. With GPT-5.6 Sol xhigh, StateM reaches 95.3\% raw accuracy across 445 trials and succeeds on all 89 tasks at least once. The frozen profile raises GPT-5.6 Luna from 76.7 to 85.4\%, above the 84.9\% Sol xhigh reference. Using the same runtime, runbook structure, and golden rules, less than \$38 of adaptation raises DeepSeek-V4 Flash from 82.7 to 88.1\% under standard timeouts and to 89.1\% on an 88-task common core. Extending only the remaining latency-sensitive task matches the reported 88.8\% GPT-5.6 Sol max result. Final-score API usage is about \$15 versus \$574.68 for the GPT reference; total DeepSeek expenditure is \$52.22. On BusinessBench, family-specific runbooks built on development sets yield held-out gains of 0.55 macro and 1.34 micro points; two mechanism-matched families improve by 10.04 points. Concrete rules generalize when tasks share execution structure, while the control methodology applies broadly. StateM turns selected postmortem findings into persistent, executable preconditions and practices, making learned controls explicit and enforceable through stateful controls. Code at github.com/henryqin1997/statem.
- Abstract（参考訳）: ロングホライゾンエージェントは、基礎となるモデルが構成ステップを解くことができても失敗する可能性がある。
変更可能な状態の追跡を失ったり、初期の実行から学んだことをやり直したり、既知の手順をスキップしたり、早めに停止したりする。
モデルウェイトを変更することなく、エージェントの周りの実行システムを改善するために、スケーリングを活用することに賭ける。
StateMは、耐久性のある状態、フェーズローカルコンテキスト、チェックされたトランジション、リカバリ可能なランブック、エージェントとユーザが一緒に検査できるバージョン付きプロシージャプラクティスを組織するエージェントネイティブランタイムである。
Terminal-Bench 2.1 では、StateM は GPT-5.5 xhigh を 92.1\% に上昇させるが、 83.1\% と GPT-5.6 Sol Ultra は 91.9\% に上昇する。
ランブックはGPT-5.6に変換されない。
GPT-5.6 Sol xhighでは、StateMは445の試験で95.3\%の生の精度に達し、少なくとも89のタスクで1回は成功している。
凍結プロファイルは GPT-5.6 Luna を 76.7 から 85.4 % に上昇させ、 84.9 % Sol xhigh を上回ります。
同じランタイム、ランブック構造、黄金のルールを使用すると、38ドル未満の適応により、DeepSeek-V4 Flashは標準タイムアウトで82.7から88.1\%に、88タスクの共通コアで89.1\%に上昇する。
残りの遅延に敏感なタスクのみを拡張することは、報告された88.8\% GPT-5.6 Sol maxの結果と一致する。
ファイナルスコアAPIの使用料は、GPT参照で約15ドル、574.68ドル、DeepSeekの総支出は$52.22ドルである。
BusinessBenchでは、開発セット上に構築されたファミリー固有のランブックが0.55マクロと1.34マイクロポイントのホールドアウトゲインを獲得し、2つのメカニズムマッチングされたファミリーは10.04ポイント改善された。
具体的なルールはタスクが実行構造を共有するときに一般化され、制御手法は広く適用される。
StateMは、選択した死後の知見を永続的で実行可能な前提条件とプラクティスに変え、学習されたコントロールをステートフルなコントロールによって明示的かつ強制可能にします。
Code at github.com/henryqin 1997/statem.com
関連論文リスト
- RobustSGPO: Search-Space Control for Agent Harness Evolution [56.722805974785125]
我々は、要求された編集、構成、パッチのチェックを指定し、既存のスナップショットまたは保持スナップショットからの検索を継続するRobustSGPOを紹介した。
我々は,120タスク,95ラン,7350の候補を用いて,AgentXブレインストーミングワークフローにおけるパーミッションスケジューリング,累積制御,タスクファミリー転送を評価した。
論文 参考訳（メタデータ） (2026-09-09T03:00:03Z) - Closing the Consistency Gap: Self-Evolving Agents That Learn to Stay on Course [5.9756241643216255]
LLM(Large Language Model)によるエージェントは、平均的には正確だが、プロダクションでは信頼性が低い。
本稿では,エージェント・トラジェクトリにおける不安定で低一貫性のステップを特定することで,このギャップを小さくする自己進化型フレームワークを提案する。
AppWorld with ReAct/GPT-4.1では、同じタスクの評価で+16点、類似タスクの一般化で+13点の5つの実行で成功するタスクの比率を上げています。
論文 参考訳（メタデータ） (2026-09-08T14:53:43Z) - SkillGLoW: Procedural-Family Skill Consolidation for Self-Improving Agents on Long-Horizon Task Streams [55.90739575113059]
再利用の欠如は、関連するタスクのクラスタによって共有される解決手順であり、その周りでSkillGLoWを構築している、と我々は主張する。
4つのベンチマーク(数学的推論、端末の自動化、ソフトウェア修復、実施制御)と3つのモデルで、前者は平均17.2ポイント(ハード)を獲得している。
論文 参考訳（メタデータ） (2026-09-02T07:31:18Z) - Recursive Synthesis for Long-Horizon Terminal Tasks [50.39352383646813]
Recursive Synthetic Terminal Tasks (RST) は、大規模に長期の端末エージェントタスクを構築するためのフレームワークである。
RSTは37,484個の合成端末エージェントタスクを1タスクあたり0.05ドルで生成する。
軌道の微調整により、Qwen3.5-27BとQwen3.5-122B-A10Bはターミナルベンチ2、ターミナルベンチハード、ロングホライゾンターミナルベンチで最大10ポイント改善される。
論文 参考訳（メタデータ） (2026-08-05T23:24:26Z) - Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。
Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。
500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
論文 参考訳（メタデータ） (2026-08-01T18:25:00Z) - AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。
Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。
コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
論文 参考訳（メタデータ） (2026-07-21T06:21:13Z) - Reason Less, Verify More: Deterministic Gates Recover a Silent Policy-Violation Failure Mode in Tool-Using LLM Agents [1.6567880228735357]
ポリシーを許容する環境では、対応する状態遷移がドメインポリシーによって禁じられている場合であっても、ツールはよくできた呼び出しを実行できる。
我々は、この障害モードを2ドルの航空会社ドメインで研究する。
我々は、決定論的かつリードオンリーの事前実行ゲートという、軽量な介入を評価する。
論文 参考訳（メタデータ） (2026-07-08T13:38:54Z) - CFAgentBench: A Reproducible Environment and Benchmark for Autonomous Construction-Finance Agents [0.0]
CFAgentBenchは、自律的な建設ファイナンスエージェントのベンチマークである。
8つのドメインと77のファミリーにまたがる1014のマシングレード可能なタスク仕様を含んでいる。
最強のエージェントはpass1 = 0.67に達するが、pass5 = 0.38のみである。
論文 参考訳（メタデータ） (2026-06-20T11:34:52Z) - SKILL.nb: Selective Formalization and Gated Execution for Durable Agent Workflows [16.693609667845948]
SKILL.nbは,エビデンス・リバース・キャリブレーションによるライフサイクルポリシーによる再利用可能なエージェント管理のためのフレームワークである。
SKILL.nbは選択的な形式化を使用する: 実行はどのワークフローステップを実行可能なコードにするかを決定する。
ゲート条件付き実行では、各ステップがゲートの検証時にコードを実行したり、ドリフトが実行可能実現を無効にした場合にローカルにフォールバックすることが可能になる。
論文 参考訳（メタデータ） (2026-06-06T08:27:18Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - Traversal-as-Policy: Log-Distilled Gated Behavior Trees as Externalized, Verifiable Policies for Safe, Robust, and Efficient Agents [18.383906296536185]
Traversal-as-Policy: サンドボックス化されたOpenHandsの実行ログを単一の実行可能なGated Behavior Tree (GBT)に蒸留する
各ノードは状態条件のアクションマクロを符号化し、成功した軌道からマージチェックを行う。
実行時に、軽量なトラバーサは、子マクロに対するベースモデルの意図と一致します。
論文 参考訳（メタデータ） (2026-01-30T16:25:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。