論文の概要: No More, No Less: Task Alignment in Terminal Agents
- arxiv url: http://arxiv.org/abs/2605.12233v1
- Date: Tue, 12 May 2026 15:06:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.947585
- Title: No More, No Less: Task Alignment in Terminal Agents
- Title（参考訳）: No more, no Less: ターミナルエージェントのタスクアライメント
- Authors: Sina Mavali, David Pape, Jonathan Evertz, Samira Abedini, Devansh Srivastav, Thorsten Eisenhofer, Sahar Abdelnabi, Lea Schönherr,
- Abstract要約: ターミナルエージェントは、単一のユーザプロンプトから、複雑な長期タスクを自律的に実行する能力がますます高まっている。
既存のベンチマークでは、この機能は利用できない。
端末ベンチ2.1から派生した89の端末タスクスイートであるTAB(Task Alignment Benchmark)を紹介する。
- 参考スコア（独自算出の注目度）: 11.296765529156291
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Terminal agents are increasingly capable of executing complex, long-horizon tasks autonomously from a single user prompt. To do so, they must interpret instructions encountered in the environment (e.g., README files, code comments, stack traces) and determine their relevance to the task. This creates a fundamental challenge: relevant cues must be followed to complete a task, whereas irrelevant or misleading ones must be ignored. Existing benchmarks do not capture this ability. An agent may appear capable by blindly following all instructions, or appear robust by ignoring them altogether. We introduce TAB (Task Alignment Benchmark), a suite of 89 terminal tasks derived from Terminal-Bench 2.1. Each task is intentionally underspecified, with missing information provided as a necessary cue embedded in a natural environmental artifact, alongside a plausible but irrelevant distractor. Solving these tasks requires selectively using the cue while ignoring the distractor. Applying TAB to ten frontier agents reveals a systematic gap between task capability and task alignment. The strongest Terminal-Bench agent achieves high task completion but low task alignment on TAB. Evaluating six prompt-injection defenses further shows that suppressing distractor execution also suppresses the cues required for task completion. These results demonstrate that task-aligned agents require selective use of environmental instructions rather than blanket acceptance or rejection.
- Abstract（参考訳）: ターミナルエージェントは、単一のユーザプロンプトから、複雑な長期タスクを自律的に実行する能力がますます高まっている。
そのためには、環境(READMEファイル、コードコメント、スタックトレースなど)で遭遇した命令を解釈し、タスクとの関連性を決定する必要がある。
関連するキューはタスクを完了するために追跡されなければならないが、無関係または誤解を招くものは無視されなければならない。
既存のベンチマークでは、この機能は利用できない。
エージェントは盲目的にすべての命令に従うことができるか、完全に無視することで堅牢に見える。
端末ベンチ2.1から派生した89の端末タスクスイートであるTAB(Task Alignment Benchmark)を紹介する。
それぞれのタスクは意図的に不特定であり、必要なキューが自然環境の人工物に埋め込まれた状態で提供され、もっともらしいが無関係な邪魔者と共に提供される。
これらのタスクを解決するには、邪魔者を無視しながらキューを選択的に使用する必要がある。
TABを10のフロンティアエージェントに適用すると、タスク能力とタスクアライメントの体系的なギャップが明らかになる。
最強のターミナル・ベンチエージェントは、TAB上で高いタスク完了を達成するが、タスクアライメントが低い。
6つのプロンプト・インジェクション・ディフェンスの評価は、障害実行の抑制もまたタスク完了に必要なキューを抑制することを示している。
これらの結果から,タスク整合型エージェントは,適応や拒絶よりも環境指示を選択的に活用する必要があることが示唆された。
関連論文リスト
- Ambig-DS: A Benchmark for Task-Framing Ambiguity in Data-Science Agents [2.3488056916440856]
既存のベンチマークでは、エージェントがタスクが不明確かどうかを無視して、パイプラインが動作しているかどうかをスコア付けしている。
本稿では,予測対象曖昧さと評価対象曖昧さの2つの診断スイートであるAmbig-DSを紹介する。
すべてのタスクに対して、元の完全に指定されたバージョンと、コントロールされた編集によって生成されるあいまいなバリエーションをペアにします。
論文 参考訳（メタデータ） (2026-05-10T18:34:12Z) - ANCHOR: Branch-Point Data Generation for GUI Agents [52.22377425487]
デスクトップ環境向けのエンドツーエンドGUIエージェントは、大量の高品質なインタラクションデータを必要とする。
本稿では,拡張フレームワークであるAnchorについて紹介する。このフレームワークは,小規模で検証済みのシードデモから,スケーラブルなデスクトップ監視をブートストラップする。
OSWorldとWindowsAgentArenaの標準デスクトップベンチマークの実験では、拡張されたコーパスに微調整されたモデルが一貫した改善を実現している。
論文 参考訳（メタデータ） (2026-02-06T19:55:26Z) - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳（メタデータ） (2026-01-17T01:29:30Z) - UltraHorizon: Benchmarking Agent Capabilities in Ultra Long-Horizon Scenarios [63.67884284105684]
textbfUltraHorizonは、複雑な現実世界の課題に不可欠な基礎的能力を測定する新しいベンチマークである。
エージェントは、隠されたルールを反復的に発見しなければならない、長期にわたる発見タスクで設計されている。
実験の結果, LLM-agents はこれらの設定において常に不利な成績を示し, ヒトは高いスコアを得ることができた。
論文 参考訳（メタデータ） (2025-09-26T02:04:00Z) - Instruction Agent: Enhancing Agent with Expert Demonstration [12.67489098612846]
グラフィカルユーザインタフェース(GUI)エージェントは急速に進歩しているが、新しいUI要素、長い水平動作、パーソナライズされた軌跡を含む複雑なタスクに苦戦している。
そこで本研究では,GUIエージェントであるインストラクションエージェントを導入し,このようなタスクを専門的なデモンストレーションで解決し,それ以外は困難なタスクの完了を可能にする。
1つのデモンストレーションが与えられた場合、エージェントはステップバイステップの指示を抽出し、ユーザが意図した軌道を厳密に追従することで実行します。
論文 参考訳（メタデータ） (2025-09-08T18:00:12Z) - Seamless Detection: Unifying Salient Object Detection and Camouflaged Object Detection [73.85890512959861]
本稿では,SOD(Salient Object Detection)とCOD(Camouflaged Object Detection)を統合化するためのタスク非依存フレームワークを提案する。
我々は、間隔層と大域的コンテキストを含む単純で効果的なコンテキストデコーダを設計し、67fpsの推論速度を実現する。
公開SODデータセットとCODデータセットの実験は、教師なし設定と教師なし設定の両方において、提案したフレームワークの優位性を実証している。
論文 参考訳（メタデータ） (2024-12-22T03:25:43Z) - Instruction-Driven Fusion of Infrared-Visible Images: Tailoring for Diverse Downstream Tasks [9.415977819944246]
赤外線と可視光融合技術の主な価値は、下流のタスクに融合結果を適用することである。
既存の手法では、トレーニングの複雑さが増し、個々のタスクのパフォーマンスが著しく損なわれるといった課題に直面している。
本稿では,タスク指向適応制御(T-OAR)を提案する。
論文 参考訳（メタデータ） (2024-11-14T12:02:01Z) - Active Instruction Tuning: Improving Cross-Task Generalization by
Training on Prompt Sensitive Tasks [101.40633115037983]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。
ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。
本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
論文 参考訳（メタデータ） (2023-11-01T04:40:05Z) - Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。
タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。
我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文 参考訳（メタデータ） (2022-10-12T15:02:04Z) - Visual-and-Language Navigation: A Survey and Taxonomy [1.0742675209112622]
本稿では,ビジュアル・アンド・ランゲージ・ナビゲーション(VLN)タスクに関する総合的な調査を行う。
命令が与えられたら、タスクはシングルターンとマルチターンに分けられる。
この分類学は、研究者が特定のタスクの要点をよりよく把握し、将来の研究の方向性を特定することを可能にする。
論文 参考訳（メタデータ） (2021-08-26T01:51:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。