論文の概要: Mid-Harness: Scaling Actions Between Model and Harness for Terminal Agents
- arxiv url: http://arxiv.org/abs/2609.39982v1
- Date: Wed, 30 Sep 2026 15:40:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.985335
- Title: Mid-Harness: Scaling Actions Between Model and Harness for Terminal Agents
- Title（参考訳）: 中間ハーネス:端末エージェントのモデルとハーネス間のスケーリング動作
- Abstract要約: モデルハーネス境界におけるテスト時間計算の割り当ては,動作信頼性と軌道上の成功率を向上させることができるかを検討する。
実行前に候補アクションをサンプリングし、検証するMid-Harnessを紹介します。
- 参考スコア（独自算出の注目度）: 61.74117371826514
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Terminal agents act through stochastic model generations, yet the ability to generate a useful action does not ensure its reliable execution. A poor command (e.g., wrong package install) can change the environment in ways that hinder subsequent progress, even when the model could generate a better alternative. We investigate whether allocating test-time compute at the model-harness boundary can improve action reliability and trajectory success, and what makes this allocation effective. To study these questions, we introduce Mid-Harness, which samples and verifies candidate actions before forwarding one for execution, while keeping the generator and harness unchanged. With a TMAX-9B generator, more action sampling yields little benefit under weak verification, whereas a capable verifier can exploit useful alternatives from the same generator. On TerminalBench-Lite, a GPT-5.6 Sol verifier raises Pass@1 from 50.00% for the base agent to 68.03% with 8 sampled actions. When the same TMAX-9B model serves as the verifier, pairwise verification performs best among the evaluated verification mechanisms. Distilling responses from the stronger verifier into TMAX-9B further improves Pass@1, while leaving the action generator unchanged. With TMAX-9B on TerminalBench-Lite, combining action and trajectory scaling reaches higher success at lower estimated token cost than generating more trajectories alone. Mid-Harness also improves performance across additional models, benchmarks, and harnesses. These findings identify action scaling as a promising target for test-time compute scaling in terminal agents.
- Abstract（参考訳）: 端末エージェントは確率モデル世代を通して動作するが、有用なアクションを生成する能力は、その信頼性を保証しない。
貧弱なコマンド(例えばパッケージのインストールが間違っていた)は、モデルがより良い代替物を生成する場合であっても、その後の進行を妨げる方法で環境を変えることができる。
モデルハーネス境界におけるテスト時間計算の割り当ては,動作の信頼性と軌道上の成功率を向上させることができるか,また,この割り当てを効果的に行うかを検討する。
そこで本研究では,実行前に候補動作のサンプリングと検証を行うMid-Harnessを紹介する。
TMAX-9Bジェネレータでは、弱い検証の下ではより多くのアクションサンプリングがほとんど利益を得られず、有能な検証器は同一ジェネレータから有用な代替品を利用することができる。
TerminalBench-Liteでは、GPT-5.6 Sol検証器が、ベースエージェントの50.00%から8つのサンプルアクションで68.03%にPass@1を上昇させる。
同じTMAX-9Bモデルが検証器として機能する場合、ペアワイズ検証は評価された検証機構の中で最良となる。
より強い検証器からTMAX-9Bへの応答を蒸留すると、Pass@1がさらに改善され、アクションジェネレータは変更されない。
TerminalBench-Lite上のTMAX-9Bでは、より多くのトラジェクトリを生成するよりも、より低い推定トークンコストで、アクションとトラジェクトリスケーリングの組み合わせが成功に達する。
Mid-Harnessは、追加のモデル、ベンチマーク、ハーネスのパフォーマンスも改善している。
これらの結果から, 動作スケーリングは, 端末エージェントにおけるテスト時間計算スケーリングの有望なターゲットであることがわかった。
関連論文リスト
- Improving Large Language Models for Code through Runtime Program-State Reasoning [6.65483605222128]
本稿では2つの相補的プログラム状態推論タスクを紹介する。
我々は,Qwen3.5-9Bベースに基づく9B言語モデルであるComet-9Bを開発した。
リポジトリレベルのパッチ生成,回帰テスト生成,セキュリティPoC生成におけるチェックポイントの評価を行った。
論文 参考訳（メタデータ） (2026-09-28T05:37:40Z) - CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳（メタデータ） (2026-06-09T16:24:16Z) - ExploitBench: A Capability Ladder Benchmark for LLM Cybersecurity Agents [7.0226553698460465]
ExploitBenchは、エクスプロイトを16個の測定可能なフラグに分解する機能グレードのベンチマークである。
V8が広くデプロイされ、エクスプロイトが強化されているため、41のV8バグに対してExploitBenchをインスタンス化する。
以上の結果から,公開フロンティアモデルとプライベートフロンティアモデルとの間には,大きな差異があることがわかった。
論文 参考訳（メタデータ） (2026-05-13T22:08:05Z) - BAMI: Training-Free Bias Mitigation in GUI Grounding [72.1023567399117]
我々は、これらのバイアスを効果的に軽減するために、粗い焦点と候補選択という2つの重要な操作を組み込んだtextbfBias-Aware Manipulation Inference (BAMI)を導入する。
BAMIは、トレーニングフリー環境で様々なGUIグラウンドモデルの精度を大幅に向上させる。
論文 参考訳（メタデータ） (2026-05-07T17:59:31Z) - Scaling Test-Time Compute for Agentic Coding [126.72747643609274]
本稿では,ロールアウト軌跡のコンパクトな表現に基づくエージェントコーディングのためのテスト時間スケーリングフレームワークを提案する。
当社のフレームワークは,各ロールアウトを,その健全な仮説,進捗,障害モードを保存する構造的な要約に変換する。
提案手法は,SWE-Bench Verified および Terminal-Bench v2.0 におけるフロンティア符号化エージェントの性能を一貫して改善する。
論文 参考訳（メタデータ） (2026-04-16T17:39:33Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z) - Beyond Verifiable Rewards: Rubric-Based GRM for Reinforced Fine-Tuning SWE Agents [9.505140329883762]
よりリッチな学習信号を提供するジェネレーティブ・リワード・モデル(GRM)を導入する。
GRMには、特定の行動パターンを奨励または阻止するための基準を示す、人間によって設計されたルーリックが備わっている。
SWEタスク上でRFT(Reinforced Fine-Tuning)に使用する場合,本手法は終端スコアのみのリジェクションサンプリングよりも優れる。
論文 参考訳（メタデータ） (2026-03-13T02:23:49Z) - PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations [52.67948063133533]
生成レコメンデーションは有望なパラダイムとして現れ、階層的なセマンティックIDよりもシーケンス・ツー・シーケンス生成タスクとしてレコメンデーションを改革している。
既存の手法は、セマンティックドリフト(Semantic Drift)と呼ばれる重要な問題に悩まされ、初期、高レベルのトークンのエラーは、生成軌道を無関係な意味部分空間に不可逆的に分散させる。
本稿では,高密度なステップバイステップ検証を生成モデルに統合する新しいフレームワークPromiseを提案する。
論文 参考訳（メタデータ） (2026-01-08T07:38:46Z) - GEM: Gaussian Embedding Modeling for Out-of-Distribution Detection in GUI Agents [13.415165482033395]
環境制約に違反したり、GUIエージェントの現在の能力を超えたりするアウト・オブ・ディストリビューション(OOD)命令は、タスクの故障やセキュリティ上の脅威を引き起こす可能性がある。
従来のOOD検出手法は、複雑な埋め込み空間とGUI環境の進化により、この領域でサブ最適化される。
本稿では,その機能境界を反映したGUIエージェントから抽出した入力埋め込み距離にガウス混合モデルを適用する新しい手法であるGEMを提案する。
論文 参考訳（メタデータ） (2025-05-19T08:29:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。