論文の概要: Drift No More? Context Equilibria in Multi-Turn LLM Interactions

• arxiv url: http://arxiv.org/abs/2510.07777v1
• Date: Thu, 09 Oct 2025 04:48:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.8669
• Title: Drift No More? Context Equilibria in Multi-Turn LLM Interactions
• Title（参考訳）: ドリフト・ノー・モア? マルチターンLDM相互作用における文脈平衡
• Authors: Vardhan Dongre, Ryan A. Rossi, Viet Dac Lai, David Seunghyun Yoon, Dilek Hakkani-Tür, Trung Bui,
• Abstract要約: コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
• 参考スコア（独自算出の注目度）: 58.69551510148673
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large Language Models (LLMs) excel at single-turn tasks such as instruction following and summarization, yet real-world deployments require sustained multi-turn interactions where user goals and conversational context persist and evolve. A recurring challenge in this setting is context drift: the gradual divergence of a model's outputs from goal-consistent behavior across turns. Unlike single-turn errors, drift unfolds temporally and is poorly captured by static evaluation metrics. In this work, we present a study of context drift in multi-turn interactions and propose a simple dynamical framework to interpret its behavior. We formalize drift as the turn-wise KL divergence between the token-level predictive distributions of the test model and a goal-consistent reference model, and propose a recurrence model that interprets its evolution as a bounded stochastic process with restoring forces and controllable interventions. We instantiate this framework in both synthetic long-horizon rewriting tasks and realistic user-agent simulations such as in $\tau$-Bench, measuring drift for several open-weight LLMs that are used as user simulators. Our experiments consistently reveal stable, noise-limited equilibria rather than runaway degradation, and demonstrate that simple reminder interventions reliably reduce divergence in line with theoretical predictions. Together, these results suggest that multi-turn drift can be understood as a controllable equilibrium phenomenon rather than as inevitable decay, providing a foundation for studying and mitigating context drift in extended interactions.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、命令追従や要約のような単一ターンタスクを排他的に扱うが、現実のデプロイメントでは、ユーザ目標と会話コンテキストが持続し進化する、持続的なマルチターンインタラクションを必要とする。 この設定で繰り返される課題は、コンテキストドリフト(文脈ドリフト)である。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 本研究では,マルチターン相互作用におけるコンテキストドリフトの研究を行い,その振る舞いを解釈するためのシンプルな動的枠組みを提案する。 本研究では,テストモデルのトークンレベル予測分布と目標一貫性参照モデルとのターンワイドKLの分岐としてドリフトを定式化し,その進化を回復力と制御可能な介入を伴う有界確率過程として解釈する再帰モデルを提案する。 我々は,このフレームワークを,ユーザシミュレータとして使用されるオープンウェイト LLM のドリフトを計測する$\tau$-Bench のような,合成ロングホライゾン書き換えタスクと現実的なユーザエージェントシミュレーションの両方でインスタンス化する。 提案実験は, 脱落時よりも安定で, 騒音に制限のある平衡を一貫して明らかにし, 簡単なリマインダー介入により, 理論的予測に沿うばらつきを確実に低減できることを実証した。 これらの結果は、多ターンドリフトは避けられない崩壊よりも制御可能な平衡現象として理解でき、拡張相互作用における文脈ドリフトの研究と緩和の基礎となることを示唆している。

関連論文リスト

• When Context Is Not Enough: Modeling Unexplained Variability in Car-Following Behavior [22.102157707436884]
  従来の決定論的モデルは、人間の運転における変動性と予測不可能性を完全に捉えるのに失敗することが多い。 本研究では、文脈依存の力学だけでなく、コンテキストが説明できること以外の残差も捉えることができる解釈可能なモデリングフレームワークを提案する。 解釈可能性と精度の統合により、このフレームワークはトラフィック分析と安全クリティカルなアプリケーションのための有望なツールとなる。
  論文  参考訳（メタデータ） (2025-07-09T16:42:41Z)
• RIFT: Group-Relative RL Fine-Tuning for Realistic and Controllable Traffic Simulation [13.319344167881383]
  データ駆動シミュレーターにおいて、模擬学習事前学習を行う2段階のAV中心シミュレーションフレームワークを導入する。 次に、物理に基づくシミュレータで微調整を学習し、スタイルレベルの制御性を向上する。 微調整段階において,新しいグループ関連RL微調整戦略であるRIFTを提案する。
  論文  参考訳（メタデータ） (2025-05-06T09:12:37Z)
• Sequential Representation Learning via Static-Dynamic Conditional Disentanglement [58.19137637859017]
  本稿では,ビデオ中の時間非依存要因と時間変化要因を分離することに着目し,逐次的データ内での自己教師付き不整合表現学習について検討する。 本稿では,静的/動的変数間の因果関係を明示的に考慮し,それらの因子間の通常の独立性仮定を破る新しいモデルを提案する。 実験により、提案手法は、シーンのダイナミックスが内容に影響されるシナリオにおいて、従来の複雑な最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-10T17:04:39Z)
• Controllable Diverse Sampling for Diffusion Based Motion Behavior Forecasting [11.106812447960186]
  制御可能拡散軌道(CDT)と呼ばれる新しい軌道生成器を導入する。 CDTは、情報と社会的相互作用をトランスフォーマーに基づく条件記述拡散モデルに統合し、将来の軌跡の予測を導く。 マルチモーダル性を確保するため,直進,右折,左折などの軌道モードを指示する行動トークンを組み込んだ。
  論文  参考訳（メタデータ） (2024-02-06T13:16:54Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• On Learning the Tail Quantiles of Driving Behavior Distributions via Quantile Regression and Flows [13.540998552232006]
  本研究では,人間の運転行動確率分布の多様性とテール量子化を正確に把握する学習モデルの問題点を考察する。 この設定に2つのフレキシブルな量子学習フレームワークを適用し、強い分布仮定を避ける。 我々は1ステップの加速予測タスクと複数ステップのドライバーシミュレーションのロールアウトでアプローチを評価した。
  論文  参考訳（メタデータ） (2023-05-22T15:09:04Z)
• Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
  我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。 この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。 本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-08T04:09:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。