論文の概要: Ask Now, Use Later: Benchmarking the Proactivity Gap in Long-Lived LLM Agents

• arxiv url: http://arxiv.org/abs/2605.28108v2
• Date: Thu, 28 May 2026 06:48:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:54.843352
• Title: Ask Now, Use Later: Benchmarking the Proactivity Gap in Long-Lived LLM Agents
• Title（参考訳）: 長生きしたLSMエージェントのアクティビティギャップをベンチマークする
• Abstract要約: LLMエージェントは、現在の要求だけでなく、セッション間でユーザーの好みに作用することで、その価値を得る。 しかし、今日のエージェントは、ユーザーがボランティアしているものを保ちますが、何があっても構わないのかを尋ねることはめったにありません。 ユーザーがより多くの問題をエージェントに委譲するにつれ、このギャップの影響は増大する。 ATRBenchは、各ユーザの好みを隠れた土台真理として固定することで測定できる。
• 参考スコア（独自算出の注目度）: 18.132295539880896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A long-lived LLM agent, such as OpenClaw, earns its value by acting on a user's preferences and constraints across sessions, not just the current request. Yet today's agents keep what a user volunteers but rarely ask for what stays unspoken, leaving a proactivity gap in long-lived LLM agents: an agent cannot act on a preference it never obtained. As users delegate more of their affairs to agents, the impact of this gap grows. We isolate one concrete, controllable slice of this gap as Ask-to-Remember (ATR): the agent decides whether to ask now for a reusable user preference that the current task does not need but a later session with the same user will. ATR is hard even to evaluate: the right question is underdetermined and its payoff deferred to tasks that may never arise. ATRBench, to the best of our knowledge the first ATR benchmark, makes it measurable by fixing each user's preferences as hidden ground truth, so success demands asking, not recall. Across eight frontier LLM agents, defaults fall at least 62 points below an oracle handed the relevant preference, and prompting closes little of it. Diagnostics identify acquisition as the bottleneck. ATRBench surfaces this proactivity gap in current agents and offers a diagnostic testbed for closing it.
• Abstract（参考訳）: OpenClawのような長期間のLLMエージェントは、現在のリクエストだけでなく、セッション間のユーザの好みや制約に作用することで、その価値を得る。 しかし、今日のエージェントは、ユーザーがボランティアで何をするかを保っているが、何に反応しないのかを尋ねることは滅多になく、長寿命のLSMエージェントにプロアクティブなギャップを残している。 ユーザーがより多くの問題をエージェントに委譲するにつれ、このギャップの影響は増大する。 Ask-to-Remember (ATR: Ask-to-Remember) として,このギャップの具体的かつ制御可能なスライスを1つ分離する。 正しい質問は過小評価され、その支払いは決して発生しないかもしれないタスクに延期される。 ATRBenchは、私たちの知る限り、最初のATRベンチマークであり、各ユーザの好みを隠された根拠の真実として固定することで測定可能になります。 8つのフロンティア LLM エージェントにまたがって、デフォルトは少なくとも62ポイント以下で、関連する優先事項を渡され、そのほとんどをクローズする。 診断は、獲得をボトルネックとみなす。 ATRBenchは、現在のエージェントのこの活性ギャップを表面化し、それを閉じるための診断テストベッドを提供する。

関連論文リスト

• From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
  大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。 最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。 縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。 IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
  論文  参考訳（メタデータ） (2026-08-03T12:52:04Z)
• Long-Horizon Embodied Decision-Making via Multimodal Memory Compression [71.16335993005139]
  DunphyBenchは、長期的な人間中心の意思決定のエージェントを評価するための新しいベンチマークだ。 MeMentoは、ユーザの好みに基づいて決定関連情報を選択的に圧縮する、優先条件付きマルチモーダルメモリ圧縮機である。 MeMentoはVLM駆動エージェントの精度を7.18%向上させ、メモリ使用率を最強のベースラインに比べて85.38%削減する。
  論文  参考訳（メタデータ） (2026-08-02T19:29:48Z)
• SWE-Together: Evaluating Coding Agents in Interactive User Sessions [19.069719245971786]
  実際のユーザエージェントコーディングセッションから再構成したマルチターンベンチマークであるSWE-Togetherを紹介する。 11,260のセッションから109のリポジトリレベルのタスクをキュレートし、リカバリ可能なレポジトリステートでセッションを選択します。 我々は、元のユーザの意図を保存し、コーディングエージェントの進捗が必要な時にフィードバックを提供する、リアクティブLLMベースのユーザシミュレータを構築します。
  論文  参考訳（メタデータ） (2026-06-29T08:35:15Z)
• Agentic Abstention: Do Agents Know When to Stop Instead of Act? [13.780119058961331]
  LLMエージェントは、検索、ブラウジングインターフェース、端末ツールを使用して、複数のターンで動作することが期待されている。 エージェントが不確実性の下で行動するのをやめるべきかどうかを決定する問題であるエージェント・アポテンションを定義する。 本研究では,Webショッピング,端末環境,質問応答において,13のLLM-as-agentシステムと28,000以上のタスクで2つのエージェント・足場を評価する。
  論文  参考訳（メタデータ） (2026-06-27T04:49:37Z)
• Momento: Evaluating Persistent Memory and Reasoning with Multi-Session Agentic Conversations [14.480725554900777]
  マルチセッションサービス環境における永続的エージェントタスク補完のためのベンチマークであるMomentoを紹介する。 実験結果から,現在のエージェントはユーザ状態の誤推定によってフェールすることが明らかとなった。
  論文  参考訳（メタデータ） (2026-05-30T18:08:51Z)
• PrivacyPeek: Auditing What LLM-Based Agents Acquire, Not Just What They Say [48.84133320567554]
  LLMベースのエージェントは急速に進歩し、ユーザーのタスクを完了させるために外部ツールを自律的に呼び出している。 既存のプライバシベンチマークは、エージェントの応答や外部アクションが開示するものを監査するが、データがエージェントのコンテキストに最初に入力される取得ステージを見落としている。 LLMエージェントの取得段階のプライバシー漏洩を評価するベンチマークであるemphPrivacyPeekを紹介する。
  論文  参考訳（メタデータ） (2026-05-29T04:55:12Z)
• Anticipate and Learn: Unleashing Idle-Time Compute in Proactive Agents [51.46570338144688]
  ProActは、アイドルタイム計算を利用して、今後のユーザニーズを予測し、満たすプロアクティブエージェントアーキテクチャである。 進化する対話履歴を永続記憶とともに解析することにより、ProActは今後のニーズを予測し、情報を反復的に取得する。 MemBenchの評価では、ProActが最先端の反射精度を達成し、持続的で堅牢な性能を裏付けている。
  論文  参考訳（メタデータ） (2026-05-25T15:47:21Z)
• Agents Explore but Agents Ignore: LLMs Lack Environmental Curiosity [12.381781997363609]
  現在のLSMベースのエージェントは、予期せぬ情報を反映したり、反応したりするのに苦労している。 我々は、タスクのソリューションをモデルに意図的に公開するために、完全なタスクソリューションをエージェント環境に注入する。 エージェントは79～81%のランでターミナルベンチでこれらの解を発見するが、それらは37～50%のケースで相互作用し、悪用する。
  論文  参考訳（メタデータ） (2026-04-19T20:49:41Z)
• KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
  KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。 42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。 明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
  論文  参考訳（メタデータ） (2026-04-09T16:50:50Z)
• Ask or Assume? Uncertainty-Aware Clarification-Seeking in Coding Agents [4.301199871195023]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学のようなオープンなドメインにますますデプロイされています。 我々は, SWE-bench Verified の未特定変種に対する LLM エージェントの解明と探索能力を評価する。 コード実行から不特定性検出を明示的に分離する不確実性認識型マルチエージェントスキャフォールドを提案する。
  論文  参考訳（メタデータ） (2026-03-27T09:56:26Z)
• CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty [8.976559755301658]
  LLM(Large Language Model)エージェントの既存のベンチマークは、理想主義的な設定下でのタスク補完に焦点を当てている。 CAR-benchは、車内アシスタントドメインにおいて、多ターンツールを用いたLLMエージェントにおいて、一貫性、不確実性ハンドリング、能力意識を評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2026-01-29T17:33:42Z)
• Are Your Agents Upward Deceivers? [73.1073084327614]
  大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。 これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。 本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
  論文  参考訳（メタデータ） (2025-12-04T14:47:05Z)
• LLM Agents Beyond Utility: An Open-Ended Perspective [50.809163251551894]
  我々は、事前訓練されたLLMエージェントを、自身のタスクを生成し、知識を蓄積し、その環境と広範囲に相互作用する能力で強化する。 複雑なマルチステップ命令を確実に追跡し、実行中に情報を保存、再利用し、独自のタスクを提案し、解決することができる。 迅速な設計や反復的なタスク生成に敏感であり、自己表現を形成することができない。
  論文  参考訳（メタデータ） (2025-10-16T10:46:54Z)
• UserBench: An Interactive Gym Environment for User-Centric Agents [110.77212949007958]
  LLM(Large Language Models)ベースのエージェントは、推論とツールの使用において、目覚ましい進歩を遂げてきたが、ユーザと積極的にコラボレーションする能力はまだ未熟である。 マルチターン、選好駆動インタラクションにおいてエージェントを評価するために設計されたユーザ中心のベンチマークであるUserBenchを紹介する。
  論文  参考訳（メタデータ） (2025-07-29T17:34:12Z)
• Agent-Based Detection and Resolution of Incompleteness and Ambiguity in Interactions with Large Language Models [0.9856777842758593]
  本稿では, LLMに基づく質問応答システムにエージェント・ベース・アーキテクチャを付加的な推論能力で活用することを検討した。 我々は、不完全性と曖昧性の欠陥を検知し解決する専門家として働くエージェントを、異なるLLMに装備する。 エージェントベースのアプローチを提案することは、LLMのパワーを利用してより堅牢なQAシステムを開発するための有用なメカニズムである。
  論文  参考訳（メタデータ） (2025-07-04T17:28:33Z)
• ADAPT: Actively Discovering and Adapting to Preferences for any Task [34.92667747380468]
  エージェントが様々な家庭のタスクにまたがってユーザの嗜好に順応する能力を評価するためのベンチマークを,アクティブな質問を通じて導入する。 次に,大規模言語モデルを積極的に質問するタスクに適用するための新しい訓練手法であるReflection-DPOを提案する。 従来のLLMは疑わしい質問や誘惑された嗜好への固執が不十分であったため,ADAPTにおけるユーザの嗜好に十分従わないことが判明した。
  論文  参考訳（メタデータ） (2025-04-05T03:16:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。