論文の概要: When Users Change Their Minds: Measuring and Repairing Intent Drift in LLM Agents

• arxiv url: http://arxiv.org/abs/2609.32520v1
• Date: Sat, 26 Sep 2026 12:03:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 07:51:04.400883
• Title: When Users Change Their Minds: Measuring and Repairing Intent Drift in LLM Agents
• Title（参考訳）: ユーザが心を変えるとき: LLM エージェントの入射ドリフトの測定と修復
• Abstract要約: LLMエージェントは、ユーザが実行前に変更するマルチターンインタラクション上で動作する。 ユーザの意図に取って代わられた部分が最終回答やツールアクションに影響を与え続ける障害モードについて検討する。
• 参考スコア（独自算出の注目度）: 8.007546058619656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents often operate over multi-turn interactions in which user intent changes before execution. We study intent drift: the failure mode in which superseded parts of the user's intent continue to influence the final answer or tool action. We introduce IntentFlux, an executable benchmark that converts verifiable tasks into dialogues with controlled intent changes while preserving their original graders. In a 627-case calibration, mean task score falls from 0.476 to 0.384 as dialogues contain more superseded and withdrawn information. Across eight models, the rate of fully correct solutions is significantly lower when the same final task must be recovered from an evolving dialogue rather than given directly in a single turn. We further introduce StateForge, which explicitly maintains the active requirements before generation. On General-Test, it improves mean task score from 0.367 to 0.467. Providing the ground-truth final state improves performance further but still does not recover single-turn performance, indicating that state-estimation errors explain only part of the gap. These results establish intent drift as a measurable multi-turn failure mode and explicit state maintenance as a partial mitigation.
• Abstract（参考訳）: LLMエージェントは、実行前にユーザが変更するマルチターンインタラクション上で動作することが多い。 ユーザの意図に取って代わられた部分が最終回答やツールアクションに影響を与え続ける障害モードについて検討する。 IntentFluxは、検証可能なタスクを、元のグレーダを保存しながら、制御された意図の変化を伴う対話に変換する実行可能なベンチマークである。 627のキャリブレーションでは、平均タスクスコアは0.476から0.384に低下する。 8つのモデルにまたがって、同じ最終タスクを1ターンで直接与えられるのではなく、進化する対話から取り戻さなければならない場合、完全に正しい解の確率は大幅に低下する。 さらに、生成前にアクティブな要求を明示的に維持するStateForgeを紹介します。 General-Testでは、平均タスクスコアが0.367から0.467に改善されている。 基幹的な最終状態を提供することで、さらなるパフォーマンスが向上するが、シングルターンのパフォーマンスは回復せず、状態推定エラーがギャップの一部しか説明できないことを示している。 これらの結果は、測定可能なマルチターン障害モードとしてインテントドリフトを確立し、部分緩和として明示的な状態維持を行う。

関連論文リスト

• CheckVLA: Execution-Time Verification with Action-Conditioned World Model for Long-Horizon Mobile Manipulation [15.532709298240215]
  視覚言語アクション(VLA)ポリシーは、オープンループアクションチャンクを通じて長距離移動操作を実行する。 本稿では、個別に訓練されたフリーズされた行動条件付き世界モデルを用いて実行を検証するCheckVLAを提案する。 RoboCasa365では、一般的なトレーニングレシピと一致した呼び出し予算の下で、CheckVLAの平均成功率は36.1%であり、定期的なリプランでは27.6%である。
  論文  参考訳（メタデータ） (2026-07-29T11:31:33Z)
• Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes [70.64622557376505]
  リフレクティブリカバリは、推論中のミスを認識し、修正するようにモデルに教える。 AIME 2025では30.0%から37.5%、Minervaでは37.6%から47.8%に精度が向上している。
  論文  参考訳（メタデータ） (2026-07-24T02:51:42Z)
• LLMs Get Lost in Evolving User Intent [31.460856308052872]
  静的なシングルターンタスクを動的マルチターン会話に変換するフレームワークを導入する。 強い静的設定性能は進化するインテント・セッティングに移行しないことを示す。 今日のLLMは、ユーザの進化する意図を忠実に追跡し、実行していません。
  論文  参考訳（メタデータ） (2026-07-22T21:14:44Z)
• MAIGO: Mitigating Lost-in-Conversation with History-Cleaned On-Policy Self-Distillation [51.32912774464992]
  大規模な言語モデルは、しばしば完全に指定されたプロンプトからタスクを解くが、同じ要求が複数のターンに広がると分解する。 本研究は, モデル自体の方針から, 履歴をクリアした基準を用いて汚染を低減させる, オンライン自己蒸留法であるMAIGOを提案する。 ミドルターンの場合、MAIGOは、ユーザ可視のシャードプレフィックスを保持しながら、事前のアシスタント応答を削除します。
  論文  参考訳（メタデータ） (2026-05-26T15:38:46Z)
• ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
  textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。 私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
  論文  参考訳（メタデータ） (2026-05-13T21:34:08Z)
• KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
  KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。 42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。 明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
  論文  参考訳（メタデータ） (2026-04-09T16:50:50Z)
• Know Your Mistakes: Towards Preventing Overreliance on Task-Oriented Conversational AI Through Accountability Modeling [9.305763502526833]
  本稿では,ユーザ過度に対処するタスク指向対話エージェントのための説明責任モデルを提案する。 実験結果から,提案手法はAIエージェントエラーの信頼性の高い推定を可能にするだけでなく,デコーダがより正確な動作を生成することを示唆している。
  論文  参考訳（メタデータ） (2025-01-17T17:40:12Z)
• A Simple Language Model for Task-Oriented Dialogue [61.84084939472287]
  SimpleTODはタスク指向対話に対する単純なアプローチであり、すべてのサブタスクのリキャストで訓練された単一因果言語モデルを単一シーケンス予測問題として利用する。 これによりSimpleTODは、事前訓練されたオープンドメイン、GPT-2のような因果言語モデルからのトランスファー学習を完全に活用できる。
  論文  参考訳（メタデータ） (2020-05-02T11:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。