論文の概要: Ask Less, Ask Better: Allocating User Attention in Proactive LLM Agents with Interruption Budgets

• arxiv url: http://arxiv.org/abs/2610.24411v1
• Date: Sat, 17 Oct 2026 03:23:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 01:40:20.737261
• Title: Ask Less, Ask Better: Allocating User Attention in Proactive LLM Agents with Interruption Budgets
• Title（参考訳）: Ask Less, Ask Better: Proactive LLM Agents with Interruption Budgets (英語)
• Abstract要約: 既存の評価は、質問を数え、必要で避けられる質問を平等に扱うことで負担を測定する。 本稿では,エージェントがどの程度の頻度で質問するかを識別する評価プロトコルを提案する。
• 参考スコア（独自算出の注目度）: 61.32398849522545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents can ask clarifying questions to complete tasks, but answering each question demands users' time and effort. Existing evaluations typically measure this burden by counting questions, treating necessary and avoidable questions equally. We propose an evaluation protocol that distinguishes how often agents ask from how well they ask. An interruption budget limits the number of questions, while a user-attention cost charges extra for questions that are hard to read or not worth asking, as rated by a human-validated LLM judge. Beyond question counts, this cost captures perceived effort: on conversation pairs with the same number of questions, human annotators agreed with the cost on which conversation required more effort 75% of the time. Across eight LLMs and four customer-service domains, limiting agents to one to three questions reduces user-attention cost by 36-73% while keeping 86-94% of the task reward they earn with unlimited questions. At the same budget, reviewing each question against the memory of users' earlier answers cuts attention cost by another 13% with little reward loss and yields more valuable questions. Models also differ sharply in how well they ask: at the same user-attention cost, the most efficient models gain more than twice as much reward from their questions as the others. These results show that asking less and asking better are distinct goals, and that evaluations of proactive agents should measure both.
• Abstract（参考訳）: LLMエージェントは、タスクを完了させるために明確な質問をすることができるが、各質問に答えるには、ユーザの時間と労力が必要である。 既存の評価は、質問を数え、必要で避けられる質問を平等に扱うことで、この負担を測定するのが一般的である。 本稿では,エージェントがどの程度の頻度で質問するかを識別する評価プロトコルを提案する。 割り込み予算は質問の数を制限するが、人間公認のLCM判事が評価したように、ユーザーの注意力のコストは、読みにくい、あるいは質問する価値のない質問に対して課せられる。 このコストは、同じ数の質問を持つ会話ペアにおいて、人間のアノテータは、会話の75%以上の労力を必要とするコストに同意した。 8つのLDMと4つのカスタマサービスドメインでエージェントを1～3問に制限することで、ユーザ獲得コストを36～73%削減すると同時に、無制限の質問で得られるタスク報酬の86～94%を維持できる。 同じ予算で、ユーザの以前の回答の記憶に対する各質問のレビューは、報酬の損失が少なく、より価値のある質問をもたらすことなく、注意コストを13%削減する。 モデルも、いかにうまく質問するかという点で、大きく異なる。同じユーザアテンションコストで、最も効率的なモデルは、他のモデルよりも2倍以上の報酬を得る。 これらの結果から, より少ない質問とより良い質問は異なる目標であり, 積極的エージェントの評価は両方を測るべきであることが示唆された。

関連論文リスト

• Rational Clarification by Assistive Agents via Value-of-Information Reasoning [32.61952851391211]
  一般的なアプローチは、しきい値に達するまでユーザの意図に対する不確実性を最小限に抑えるような質問をすることである。 これは下流の性能に対する不確実性低減の影響を無視する。 本稿では,REVOIR(Value-of-Information Reasoning)による合理性問合せについて紹介する。 REVOIRは、質問の価値についての推論時間推論を通じて、明確化決定を行う。
  論文  参考訳（メタデータ） (2026-09-29T13:44:20Z)
• FramingQA: Does the Question Shape the Answer? Measuring the Compositional Framing Effect [69.8983512616053]
  大規模な言語モデルは、しばしばユーザによる暗黙のスタンスと一致する微妙な言い換えに応答を変更する。 これによってユーザーは、根拠となる事実ではなく、どのようにして質問を言い表したかというアドバイスをユーザーに残すことができる。 FramingQAは、法律、医学、ファイナンス、ロボットシミュレーションにまたがるフレーミングに疑問を呈するモデル感度を測定するベンチマークである。
  論文  参考訳（メタデータ） (2026-09-07T12:56:44Z)
• One More Turn, Less Regret: A Regret-Based Multi-Turn Benchmark for LLMs' Clarification Policies [49.067670811577045]
  本稿では,孤立した質問品質ではなく,政策行動として明確化を評価するベンチマークであるRegretBenchを紹介する。 RegretBenchは、意図的な解決、相互作用コスト、非効率な明確化、後悔を計測する。 以上の結果から,有効な明確化には有望な質問以上のものが必要であることが示唆された。
  論文  参考訳（メタデータ） (2026-07-23T10:22:11Z)
• Learning Steerable Clarification Policies with Collaborative Self-play [67.67872810596839]
  不明瞭なクエリを処理するために、AIアシスタントは不確実性を管理するためのポリシーが必要である。 我々は,この不確実性を管理するために,自己再生を用いて評価可能な政策を訓練することを提案する。 このことが、提供されたコストに応じて予測可能な振る舞いを変更する、評価可能なポリシーにつながることを示す。
  論文  参考訳（メタデータ） (2025-12-03T18:49:54Z)
• "Ask Me Anything": How Comcast Uses LLMs to Assist Agents in Real Time [9.497432249460385]
  エージェント対応のカスタマーサービスインターフェースにアドオン機能として"Ask Me Anything"(AMA)を導入します。 AMAは、顧客との会話を扱うため、エージェントが要求に応じて大きな言語モデル(LLM)に質問することを可能にする。 AMAと従来の検索体験のエージェントは、検索を含む会話に約10%の時間を費やしていることがわかった。
  論文  参考訳（メタデータ） (2024-05-01T18:31:36Z)
• Efficient Contextual LLM Cascades through Budget-Constrained Policy Learning [31.972053219549757]
  TREACLEは、ユーザの金銭的コストとレイテンシの制約を尊重しながら、モデルとプロンプトスキームを共同で選択する強化学習ポリシーである。 評価の結果,TREACLEはベースラインに比べて最大85%のコスト削減が可能であり,精度は高いことがわかった。
  論文  参考訳（メタデータ） (2024-04-17T05:56:49Z)
• Don't Just Say "I don't know"! Self-aligning Large Language Models for Responding to Unknown Questions with Explanations [70.6395572287422]
  自己調整法は,回答を拒否するだけでなく,未知の質問の解答不能を説明できる。 我々は, LLM自体を微調整し, 未知の質問に対する応答を所望の通りに調整するために, 偏差駆動による自己計算を行い, 有資格データを選択する。
  論文  参考訳（メタデータ） (2024-02-23T02:24:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。