論文の概要: Instructions Are Evidence, Not Objectives: Measuring Outcome Alignment of Agents

• arxiv url: http://arxiv.org/abs/2610.17757v1
• Date: Tue, 13 Oct 2026 05:39:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.529186
• Title: Instructions Are Evidence, Not Objectives: Measuring Outcome Alignment of Agents
• Title（参考訳）: 指示は目的ではなく証拠である:エージェントのアウトカムアライメントを測定する
• Abstract要約: 大規模言語モデルエージェントは、現実世界のタスクを解決するための複雑な人間の指示に従うことができる。 しかし実際には、初期命令はしばしば不完全である。 本研究では,ソフトウェア工学と研究タスクのベンチマークである textbfTiGanEval を構築した。
• 参考スコア（独自算出の注目度）: 11.784236909509362
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model agents can follow complex human instructions to solve real-world tasks. In practice, however, initial instructions are often incomplete. In our analysis of 100 user-agent trajectories from SWE-chat, 56\% of initial instructions omit requirements that later emerge as necessary, and 52\% of the useful follow-up requirements could have been inferred from the project. A user states requirements from their own understanding of the task, and these \textbf{stated requirements} often differ from the \textbf{true requirements} that completing the task imposes. An agent should therefore treat the instruction as evidence rather than as the objective, inferring the true requirements from the instruction and the environment and satisfying them even when the user is not yet aware of all of them. We call this ability \textbf{outcome alignment}. In this work, we construct \textbf{TiGanEval}, a benchmark of software engineering and research tasks. In every task the user genuinely lacks part of the requirements, each requirement stays discoverable from the code and runtime behaviour of the environment, and requirements the agent infers are separated from those the user adds after observing delivered work. These properties together make outcome alignment measurable. Evaluating eight frontier models including GPT-5.6-Sol, we find outcome alignment broadly missing: the models lose 53 to 67 points of success rate when moving from the full specification to the partial instruction, and consequence feedback across four submissions does not close the gap. Furthermore, a plan-mode harness cannot compensate for the missing ability of the model itself, which places outcome alignment among the abilities the next generation of models should be developed for.
• Abstract（参考訳）: 大規模言語モデルエージェントは、現実世界のタスクを解決するための複雑な人間の指示に従うことができる。 しかし実際には、初期命令はしばしば不完全である。 SWE-chatから100個のユーザエージェントトラジェクトリを解析したところ,初期命令の56 %は後に必要となる要求を省略し,有用なフォローアップ要件の52 %はプロジェクトから推測された。 ユーザはタスクに対する自身の理解から要求を述べ、これらの \textbf{stated requirements} はタスクを完了させる \textbf{true requirements} とは異なることが多い。 したがって、エージェントは、指示を目的ではなく証拠として扱い、命令と環境から真の要求を推測し、ユーザがまだそれら全てを認識していない場合でも、それらを満たすべきである。 私たちはこの機能を \textbf{outcome alignment} と呼びます。 本研究では,ソフトウェア工学と研究タスクのベンチマークである「textbf{TiGanEval}」を構築した。 ユーザが本当に要求の一部を欠いているすべてのタスクにおいて、各要件は環境のコードと実行時の振る舞いから発見可能であり、エージェントが推論する要求は、提供された作業を観察した後、ユーザーが追加する要求から分離される。 これらの特性を合わせて、結果のアライメントを測定することができる。 GPT-5.6-Solを含む8つのフロンティアモデルを評価すると、完全な仕様から部分的な命令に移行すると、結果の整合性が53から67ポイント減少し、4つの提案に対する結果フィードバックがギャップを埋めることはない。 さらに、計画モードハーネスは、次世代モデルを開発するべき能力間で結果の整合性を示すモデル自体の欠如を補うことができない。

関連論文リスト

• Cowork-Gym: Synthesizing Interactive Work Environments at Scale [79.11567848319275]
  ワークエージェントは、ツールやファイル間の依存関係をナビゲートし、ユーザ要求の変更や共有ワークスペースへの編集に適応する。 Cowork-Gymは、ビルド・実行・修正ループを通じてCowork環境を合成するフレームワークです。 現実的なコワークダイナミクスをキャプチャするために、ステートフルユーザシミュレータは対話を通じてエージェントのアクションに応答し、共有ワークスペースに直接編集する。
  論文  参考訳（メタデータ） (2026-10-13T03:56:58Z)
• AgentSWE: Can Coding Agents Build the Agent You Actually Want? [27.064072390170466]
  本稿ではエージェント開発ライフサイクルの3段階にまたがるエージェントソフトウェアエンジニアリングのベンチマークであるエージェントSWEを紹介する。 25のタスクはそれぞれ、試験ではなく委員会としてフレーム化されている。 要求が要求するものを提供するにはほど遠いものはありません。
  論文  参考訳（メタデータ） (2026-10-09T10:35:27Z)
• xDailyBench: Benchmarking LLMs on Professional Consultation for Real-Life Problems [57.62172039072062]
  xDailyBenchは、個人生活、ホワイトカラーワーク、学習と研究、ドメイン横断アクティビティなど、51のシナリオにまたがる248の慎重にキュレートされたタスクのベンチマークである。 これらのタスクは、ユーザがAIで実際に完了した、あるいは真に達成することを意図した要求に基づいており、明示的な要件と暗黙的な要件の両方をカバーする、きめ細かいバイナリルーブリックで評価される。 最高のモデルではタスクレベルのスコアが75.6%に達し、すべてのモデルは明示的な要件よりも暗黙的にパフォーマンスが悪く、ギャップは9ポイント以下である。
  論文  参考訳（メタデータ） (2026-09-07T17:30:58Z)
• Interactive Task Alignment as a POMDP [17.743513722485876]
  本稿では,特定のタスクを不特定なインタラクションに変換するための一般的なフレームワークを紹介する。 ユーザシミュレータを人的ユーザスタディで検証した。 教師付き微調整と強化学習によるポストトレーニングではタスクアライメントが改善されるが,インタラクションによる不確実性の解消には,モデルが人間に遅れている。
  論文  参考訳（メタデータ） (2026-07-17T18:04:38Z)
• SWE-INTERACT: Reimagining SWE Benchmarks as User-Driven Long-Horizon Coding Sessions [3.67653051806469]
  SWE-Interactは、エージェントを現実的な開発者ワークフローに配置する。 それは曖昧で不完全な命令から始まり、徐々に要求を明らかにする。 目標とするフィードバックやリビジョン,新たな制約を,完全なタスク目標が引き渡されるまで提供します。
  論文  参考訳（メタデータ） (2026-06-29T17:17:45Z)
• ACCORD: Action-Conditioned Contextual Grounding for Language Agents [69.73525608707764]
  ACCORD(Action-Conditioned Contextual Grounding)は、適応的なグラウンドのためのエージェントフレームワークである。 現状のエージェントは、しばしばそうすることができないことを示す。それらは、観察された特定の情報よりもむしろ仮定から行動し、収集した可能性のある情報を見落とし、既に返された証拠を組み込むことに失敗する。
  論文  参考訳（メタデータ） (2026-06-15T09:05:55Z)
• What do Language Models Learn and When? The Implicit Curriculum Hypothesis [50.89698323917259]
  Inlicit Curriculum hypothesis: Pretraining following a compositional and predictable curriculum across models。 410M-13Bパラメータから4つのモデルファミリの出現点を追跡する。 モデルが一定の精度のしきい値に達する際の出現順序は著しく一致していることがわかった。
  論文  参考訳（メタデータ） (2026-04-09T17:50:12Z)
• Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
  Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。 ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。 将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
  論文  参考訳（メタデータ） (2026-01-17T01:29:30Z)
• OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
  OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。 我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。 我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
  論文  参考訳（メタデータ） (2025-08-07T17:54:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。