論文の概要: ReFract: Benchmarking Perspective Awareness in Language Model Agents with Text World Models

• arxiv url: http://arxiv.org/abs/2610.03356v1
• Date: Fri, 02 Oct 2026 14:21:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.413161
• Title: ReFract: Benchmarking Perspective Awareness in Language Model Agents with Text World Models
• Title（参考訳）: ReFract: テキストワールドモデルを用いた言語モデルエージェントにおける視点認識のベンチマーク
• Abstract要約: ReFractは150のエキスパート検証されたエントリのベンチマークで、エージェントはユーザの役割に応じて同じクエリに対して異なる振る舞いをしなければならない。 ReFractは、パースペクティブの認識を、エージェント評価の明確な、ほとんど未解決の軸として公開し、行動の仕方だけでなく、誰のためにも調整するエージェントを動機付けている。
• 参考スコア（独自算出の注目度）: 14.91713269748187
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Model (LLM) agents are increasingly deployed in high-stakes settings such as industrial maintenance and equipment fault troubleshooting, where workers occupy a variety of roles. A capable agent must therefore act in a way that is calibrated to user's role: taking actions and providing information that respect the role's knowledge and capability boundaries. Unlike coding, where mistakes are usually recoverable, agent responses in these settings are enacted on physical equipment, and can therefore cause irreversible equipment damage, production loss, or personnel harm. Existing benchmarks, however, largely overlook the need for agents to infer what a role intends and acting only through tools that role may legitimately use, a capability which we term Perspective Awareness. To this end, we introduce ReFract, a benchmark of 150 expert-validated entries in which an agent must act differently in response to the same query depending on user's role. Entries of ReFract are grounded in anonymized queries from domain support conversations, against which we construct Text World Models that simulate the agent's operating environments and assemble perspective-aware action trajectories. State-of-the-art LLMs solve at most 69% of the tasks with more than 50% of their trajectories contain attempts of taking perspective-violating actions. ReFract exposes perspective awareness as a distinct, largely unsolved axis of agent evaluation and motivates agents that calibrate not just how to act, but for whom.
• Abstract（参考訳）: 大規模言語モデル (LLM) エージェントは、労働者が様々な役割を担っている産業保守や設備故障のトラブルシューティングのような、高レベルの環境にますます配備されている。 したがって、有能なエージェントは、ユーザの役割に合わせて調整された方法で行動し、その役割の知識と能力の境界を尊重する情報を提供する必要がある。 通常、誤りが回復可能なコーディングとは異なり、これらの設定におけるエージェントの応答は物理機器で実行され、従って不可逆的な機器の損傷、生産損失、または人的被害を引き起こす。 しかし、既存のベンチマークは、ロールが何を意図しているかを推測し、ロールが合法的に使用される可能性のあるツールによってのみ作用するエージェントの必要性を、主に見落としている。 この目的のために、ReFractを紹介します。これは150のエキスパート検証されたエントリのベンチマークで、エージェントは、ユーザの役割に応じて、同じクエリに対して異なる振る舞いをしなければなりません。 ReFractのエントリは、ドメインサポートの会話から匿名化されたクエリに基礎を置いており、エージェントの動作環境をシミュレートするText World Modelを構築し、視点対応のアクショントラジェクトリを組み立てます。 最先端のLSMは、少なくとも69%のタスクを解決し、軌道の50%以上は視点違反行為を試みている。 ReFractは、パースペクティブの認識を、エージェント評価の明確な、ほとんど未解決の軸として公開し、行動の仕方だけでなく、誰のためにも調整するエージェントを動機付けている。

関連論文リスト

• LIBERO-Agent: Evaluating General-Purpose Agents for Direct Embodied Manipulation [69.6306613959287]
  汎用エージェントは、フィードバックから行動の計画、使用、修正を行うことができるが、これらの機能がデジタル環境から具体的操作へ移行するかどうかは不明だ。 本稿では,ロボット操作タスクにおけるエージェント評価のためのエージェントネイティブベンチマークであるLIBERO-Agentを紹介する。
  論文  参考訳（メタデータ） (2026-09-30T11:10:10Z)
• Interaction Readiness: A Framework for Building and Evaluating AI Agents in Human Roles [0.0]
  本稿では、その欠落したパフォーマンス層を特定し評価するためのフレームワークとして、Interaction Readinessを紹介します。 このフレームワークは、エージェントが知っていることや言うことを管理するコンテンツ仕様と、エージェントがロールが支配する交換の中でどのように行動すべきかを定義するインタラクション仕様を分離する。
  論文  参考訳（メタデータ） (2026-07-04T19:39:58Z)
• ROGUE: Misaligned Agent Behavior Arising from Ordinary Computer Use [40.024131729499494]
  エージェントは,動作がタスク完了に有効である場合に,安全でない動作をとることによって,良質な設定でも不整合性を示すことができることを示す。 我々は、この障害モードを、人の修正、中断、シャットダウンに対処可能な安全装置である矯正レンズを通して研究する。 我々の研究は、自律エージェントにおける原理的、調整性を重視したアライメント手法の批判的な必要性を強調している。
  論文  参考訳（メタデータ） (2026-05-29T20:29:35Z)
• Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
  セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。 アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。 ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
  論文  参考訳（メタデータ） (2026-04-21T15:05:58Z)
• The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
  LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。 本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。 標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
  論文  参考訳（メタデータ） (2026-01-21T15:22:21Z)
• From Biased Chatbots to Biased Agents: Examining Role Assignment Effects on LLM Agent Robustness [5.572574491501413]
  大規模言語モデル(LLM)は、テキスト生成を超えた現実的な影響で行動可能な自律エージェントとして、ますます多くデプロイされている。 テキスト生成におけるペルソナによるバイアスは十分に文書化されているが、エージェントタスクのパフォーマンスへの影響は未解明のままである。 人口動態に基づくペルソナ割り当ては, LLMエージェントの行動を変化させ, 様々な領域で性能を低下させることができることを示す最初のシステマティックケーススタディを示す。
  論文  参考訳（メタデータ） (2026-01-21T02:43:07Z)
• Are Your Agents Upward Deceivers? [73.1073084327614]
  大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。 これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。 本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
  論文  参考訳（メタデータ） (2025-12-04T14:47:05Z)
• The Real Barrier to LLM Agent Usability is Agentic ROI [110.31127571114635]
  大規模言語モデル(LLM)エージェントは、人間とAIの相互作用において有望な変化を示す。 我々は、需要の高いマスマーケットアプリケーションにおいて、重要なユーザビリティギャップを強調します。
  論文  参考訳（メタデータ） (2025-05-23T11:40:58Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。