論文の概要: AM-Bench: Understanding Agents under Task Underspecification across Models and Harnesses
- arxiv url: http://arxiv.org/abs/2610.18090v1
- Date: Tue, 13 Oct 2026 10:11:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.587104
- Title: AM-Bench: Understanding Agents under Task Underspecification across Models and Harnesses
- Title（参考訳）: AM-Bench: モデルとハーネスにまたがるタスク不特定の下でのエージェントの理解
- Abstract要約: AM-Bench は Terminal-Bench 2.0 と Harness-Bench から適応した48のタスクから構築されたベンチマークである。
各タスクには、完全に指定された参照と、曖昧または欠落した目標、コンテキスト、制約にまたがる6つの変種が含まれている。
5つのモデルと4つのハーネスのペアリングを20,160回のランで評価する。
- 参考スコア（独自算出の注目度）: 35.275054293687695
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ambiguous or incomplete task specifications complicate both execution and clarification for language-model agents. Yet agents' responses to these information gaps remain poorly characterized across models and execution harnesses. We present AM-Bench, a benchmark built from 48 tasks adapted from Terminal-Bench 2.0 and Harness-Bench. Each task includes a fully specified reference and six variants spanning ambiguous or missing goals, context, and constraints. We evaluate every pairing of five models and four harnesses over 20,160 runs. Our results reveal distinct execution deficits: goal gaps hinder completion, context gaps increase token use, and constraint gaps weaken compliance without necessarily preventing completion. Missingness lowers success more than ambiguity in all three domains. These effects also reshape system comparisons: advantages under complete information need not persist, and rankings depend on model $\times$ harness pairings and the evaluation criterion -- completion, success, or repeat consistency. Estimates based on observed clarification requests and matched fully specified runs further suggest that clarification could recover unfinished work while leaving most constraint violations unresolved. Together, these findings motivate joint model-harness evaluation across information conditions and targeted clarification of unresolved requirements before dependent actions. To support future research on agents under task underspecification, we provide the AM-Bench project repository at https://github.com/s4-lab-cuhksz/AM-Bench.git.
- Abstract（参考訳）: 曖昧または不完全なタスク仕様は、言語モデルエージェントの実行と明確化の両方を複雑にする。
しかし、これらの情報ギャップに対するエージェントの反応は、モデルと実行ハーネスの間でも貧弱な特徴を保っている。
AM-Bench は Terminal-Bench 2.0 と Harness-Bench から適応した48のタスクから構築されたベンチマークである。
各タスクには、完全に指定された参照と、曖昧または欠落した目標、コンテキスト、制約にまたがる6つの変種が含まれている。
5つのモデルと4つのハーネスのペアリングを20,160回のランで評価する。
ゴールギャップは完了を妨げ、コンテキストギャップはトークン使用を増大させ、制約ギャップは完了を必ずしも防止することなくコンプライアンスを弱める。
欠落は3つの領域の曖昧さよりも成功を低下させる。
完全な情報の下での利点は持続する必要はないし、ランキングはモデル$\times$ ハーネスペアリングと評価基準(完了、成功、反復一貫性)に依存する。
観察された明確化要求と一致した完全特定実行に基づく推定は、明確化が未完了の作業を回復し、ほとんどの制約違反は未解決のままにすることを示唆している。
これらの知見は、情報条件全体にわたる共同モデルハーネス評価を動機付け、従属行動の前に未解決要件の明確化を目標とするものである。
タスク過小評価中のエージェントに関する今後の研究を支援するため、私たちは https://github.com/s4-lab-cuhksz/AM-Bench.git.com にAM-Benchプロジェクトリポジトリを提供しています。
関連論文リスト
- Beyond Perfect Teammates: Multi-Agent Collaboration with Unreliable Colleagues [41.90964421829607]
我々は,信頼できない証拠収集プロセスの回復能力からタスク解決能力の分離を図るために,UncoBench(Unreliable Colleagues Benchmark)を導入する。
10モデルにわたる結果は、同様の信頼性の高い設定性能が、信頼性の低い証拠と異なるロバスト性をもたらすことを示している。
論文 参考訳（メタデータ） (2026-10-12T03:31:54Z) - EnactOpt: Diagnosis-Guided Harness Evolution for Embodied Agents [16.436363329468517]
基礎モデル上に構築されたエージェントは、観察を組織化し、アクションをガイドし、実行フィードバックをその後の決定に組み込むための実行ハーネスに依存している。
EnactOptは、限られた実行フィードバックを使って再利用可能なテキストスキルとコンテキストコンストラクションコードを共同で進化させ、基盤となるモデルとランタイムを固定します。
VLABench、ALFWorld、Embodied Agent Interface (EAI)全体で、EnactOptは初期ハーネスよりもタスク成功率を約10～27ポイント向上し、評価されたEPA、TextGrad、Trace2Skillベースラインを上回っている。
論文 参考訳（メタデータ） (2026-10-10T14:51:25Z) - VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。
本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。
コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。
これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
論文 参考訳（メタデータ） (2026-10-01T03:02:17Z) - ConflictVLA-Bench: Benchmarking Behavioral Responses of Vision-Language-Action Models to Premise Conflicts [16.995082216096787]
ConflictVLA-Benchは、コンフリクトロールアウトと前提整合参照ロールアウトをペアリングする。
ベンチマークには、4つのコンフリクトファミリーにまたがる2,826のプロンプト条件のコンフリクトタスク、4つの構造構成、2つのプロンプト条件が含まれている。
無効な前提は、最初のゴール完了を少なくとも17.3ポイント削減し、OpenVLAでは56.2ポイントまで削減した。
論文 参考訳（メタデータ） (2026-09-25T02:43:01Z) - DENSE: Distilling Agent Trajectories into Evidence-Grounded Shortcut Trees for Self-Refinement [28.796799881538274]
DENSEは、軌道由来の証拠をネストしたショートカットツリーに整理する。
ノイズの多い実行トレースを構造化された再利用可能なタスク解決フィードバックに変換する。
ターミナル・ベンチ2.1の4つのエージェントモデルの中で最も厳格なパスレートを達成している。
論文 参考訳（メタデータ） (2026-09-18T07:36:21Z) - Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。
$textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
論文 参考訳（メタデータ） (2026-08-20T15:24:54Z) - Ambig-DS: A Benchmark for Task-Framing Ambiguity in Data-Science Agents [2.3488056916440856]
既存のベンチマークでは、エージェントがタスクが不明確かどうかを無視して、パイプラインが動作しているかどうかをスコア付けしている。
本稿では,予測対象曖昧さと評価対象曖昧さの2つの診断スイートであるAmbig-DSを紹介する。
すべてのタスクに対して、元の完全に指定されたバージョンと、コントロールされた編集によって生成されるあいまいなバリエーションをペアにします。
論文 参考訳（メタデータ） (2026-05-10T18:34:12Z) - When Is Enough Not Enough? Illusory Completion in Search Agents [56.98225130959051]
検索エージェントが、複数の条件をトラッキングし、検証し、維持することで、すべての要件に対して確実に理性性を持たせるかどうかを調査する。
エージェントは、未解決の制約や違反の制約にもかかわらずタスクが完了したと信じており、未検証の回答につながる。
我々は、実行中の明示的な制約状態追跡が、推論時トラッカーであるLiveLedgerを介してこれらの障害を緩和するかどうかを検討する。
論文 参考訳（メタデータ） (2026-02-07T13:50:38Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。