論文の概要: LLMs Get Lost in Evolving User Intent

• arxiv url: http://arxiv.org/abs/2607.20734v1
• Date: Wed, 22 Jul 2026 21:14:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.222656
• Title: LLMs Get Lost in Evolving User Intent
• Title（参考訳）: LLMがユーザインテントの進化で失われる
• Abstract要約: 静的なシングルターンタスクを動的マルチターン会話に変換するフレームワークを導入する。 強い静的設定性能は進化するインテント・セッティングに移行しないことを示す。 今日のLLMは、ユーザの進化する意図を忠実に追跡し、実行していません。
• 参考スコア（独自算出の注目度）: 31.460856308052872
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As LLMs become more capable, they are increasingly deployed as collaborative agents, taking on user-delegated tasks through iterative interaction. Yet genuine interaction is inherently dynamic: users rarely specify their intent upfront, instead disclosing, revising, and reshaping it as the conversation unfolds. Despite this, LLMs are still predominantly evaluated or trained in single-turn, fully-specified settings, leaving open a fundamental question: how well do LLMs track and act on user intent as it evolves over the course of a conversation? To study this, we introduce a framework that transforms static, single-turn tasks into dynamic multi-turn conversations in which the user's intent evolves across turns--incrementally revealed, revised, and at times redirected mid-conversation--while preserving each task's original evaluation protocol, enabling existing benchmarks to be reused as controlled testbeds without new annotation. Across multiple tasks, we surface a consistent phenomenon: strong static-setting performance does not transfer to the evolving-intent setting, with substantial drops across model families. Our findings point to a fundamental gap: today's LLMs do not yet faithfully track and act on the user's evolving intent, a capability invisible to static evaluation yet critical for future collaborative agents.
• Abstract（参考訳）: LLMの能力が向上するにつれ、協調エージェントとして展開され、反復的なインタラクションを通じてユーザによるタスクをこなすようになる。 しかし、真の対話は本質的に動的で、ユーザーは自分の意図を前もって指定することは滅多になく、会話が広まるにつれてそれを開示し、修正し、再形成する。 それにもかかわらず、LLMは依然として一ターンで完全に特定された設定で主に評価または訓練されており、基本的な疑問が残る。 そこで本研究では,静的な単一ターンタスクを動的多ターン会話に変換するフレームワークを提案する。このフレームワークでは,各タスクの本来の評価プロトコルを保ちながら,ユーザの意図がターン毎に増大し,更新され,時にはリダイレクトされる。 複数のタスクにまたがって、我々は一貫した現象を呈する: 強い静的設定性能は進化するインテント設定に移行せず、モデルファミリ間で大幅に低下する。 現在のLLMは、ユーザの進化する意図を忠実に追跡し、動作させていません。

関連論文リスト

• Beyond Continuity: Challenges of Context Switching in Multi-Turn Dialogue with LLMs [6.89598705331814]
  大規模言語モデル(LLM)のマルチターン理解をストレステストする ユーザが現在のターンにピボットするかリファインするかを検知し、前のターンから関連するコンテキストをショートリスト化する。 10LLMのゼロショット性能(オープンウェイト,クローズドソース,推論)を評価する。
  論文  参考訳（メタデータ） (2026-05-10T02:28:23Z)
• Probing the Lack of Stable Internal Beliefs in LLMs [15.229279758631137]
  ペルソナ駆動の大規模言語モデル(LLM)は、人間のような性格特性をシミュレートするために、相互作用間の一貫した行動傾向を必要とする。 この研究は、LLMがマルチターン相互作用において、未定のゴールへの永続的な執着として定義された「単純整合性」を維持することができるかどうかを考察する。
  論文  参考訳（メタデータ） (2026-03-26T08:52:55Z)
• Intent Mismatch Causes LLMs to Get Lost in Multi-Turn Conversation [26.91734024759386]
  根本原因は本質的な能力不足というよりも,意図的なアライメントギャップにある,と我々は主張する。 本稿では,Mediator-Assistantアーキテクチャによるタスク実行から意図的理解を分離することを提案する。
  論文  参考訳（メタデータ） (2026-02-07T03:41:04Z)
• ClarifyMT-Bench: Benchmarking and Improving Multi-Turn Clarification for Conversational Large Language Models [32.099137908375546]
  ClarifyMT-Benchは、大規模言語モデル(LLM)におけるマルチターン明確化のためのベンチマークである。 多様なあいまいさソースと相互作用パターンをキャプチャする6,120個のマルチターン対話を構築した。 textbfClarifyAgentは,認知,予測,追跡,計画に明確化を分解するエージェントアプローチである。
  論文  参考訳（メタデータ） (2025-12-24T11:39:00Z)
• Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory [89.65731902036669]
  Evo-Memoryは、大規模言語モデル(LLM)エージェントで自己進化型メモリを評価するための、ストリーミングベンチマークとフレームワークである。 10以上の代表的なメモリモジュールを評価し、10種類の多ターンゴール指向およびシングルターン推論およびQAデータセットで評価した。
  論文  参考訳（メタデータ） (2025-11-25T21:08:07Z)
• Consistently Simulating Human Personas with Multi-Turn Reinforcement Learning [52.07170679746533]
  大規模言語モデル(LLM)は、セラピー、教育、社会的役割プレイといったインタラクティブな環境において、人間のユーザをシミュレートするためにますます使われています。 LLM生成対話におけるペルソナの一貫性の評価と改善のための統一的なフレームワークを提案する。 我々は3つの自動メトリクス、即行一貫性、行間一貫性、Q&A一貫性を定義し、異なるタイプのペルソナドリフトをキャプチャし、それぞれが人間のアノテーションに対して検証する。
  論文  参考訳（メタデータ） (2025-10-31T19:40:41Z)
• CUPID: Evaluating Personalized and Contextualized Alignment of LLMs from Interactions [39.554239954719876]
  CUPIDは、756人の人為的なインタラクションセッション履歴のベンチマークである。 オープンでプロプライエタリな10のLarge Language Model(LLM)を評価する。 我々の研究は、より文脈的にパーソナライズされたインタラクションのためにLLM機能を進化させる必要性を強調します。
  論文  参考訳（メタデータ） (2025-08-03T09:04:48Z)
• Teaching Language Models To Gather Information Proactively [53.85419549904644]
  大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。 本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。 キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。 このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
  論文  参考訳（メタデータ） (2025-07-28T23:50:09Z)
• Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
  調整可能な大きな言語モデル(LLM)をトレーニングします。 木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。 評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-10-04T17:48:29Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。