論文の概要: Context-Driven Incremental Compression for Multi-Turn Dialogue Generation

• arxiv url: http://arxiv.org/abs/2606.12411v1
• Date: Wed, 10 Jun 2026 17:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.619871
• Title: Context-Driven Incremental Compression for Multi-Turn Dialogue Generation
• Title（参考訳）: 多段階対話生成のための文脈駆動インクリメンタル圧縮
• Authors: Yeongseo Jung, Jaehyeok Kim, Eunseo Jung, Jiachuan Wang, Yongqi Zhang, Ka Chun Cheung, Simon See, Lei Chen,
• Abstract要約: 文脈駆動型インクリメンタル圧縮(C-DIC)を導入し,会話を文脈スレッドとして扱う。 C-DICは、数百の対話ターンに対して安定した推論レイテンシとパープレキシティを示し、高品質な対話モデリングへのスケーラブルなパスをサポートする。
• 参考スコア（独自算出の注目度）: 34.30502355459057
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern conversational agents condition on an ever-growing dialogue history at each turn, incurring redundant attention and encoding costs that grow with conversation length. Naive truncation or summarization degrades fidelity, while existing context compressors lack cross-turn memory sharing or revision, causing information loss and compounding errors in long dialogues. We revisit the context compression under conversational dynamics and empirically present its fragility. To improve both efficiency and robustness, we introduce Context-Driven Incremental Compression (C-DIC), which treats a conversation as interleaved contextual threads and stores revisable per-thread compression states in a single, compact dialogue memory. At each turn, a lightweight retrieve, revise, and write-back loop shares information across turns and updates stale memories, stabilizing long-horizon behavior. In addition, we adapt truncated backpropagation-through-time (TBPTT) to our multi-turn setting, learning cross-turn dependencies without full-history backpropagation. Extensive experiments on long-form dialogue benchmarks demonstrate superior performance and efficiency of C-DIC; notably, C-DIC shows stable inference latency and perplexity over hundreds of dialogue turns, supporting a scalable path to high-quality dialogue modeling.
• Abstract（参考訳）: 現代の会話エージェントは、会話の長さとともに成長する余分な注意と符号化コストを伴って、各ターンで成長を続ける対話履歴を条件にしている。 一方、既存のコンテクスト圧縮機はクロスターンメモリ共有やリビジョンを欠いているため、長い対話で情報損失や複合エラーが発生する。 我々は,会話力学の下での文脈圧縮を再考し,その脆弱さを実証的に示す。 効率性とロバスト性の両方を改善するために,コンテキスト駆動型インクリメンタル圧縮(C-DIC)を導入し,会話をインターリーブされたコンテキストスレッドとして扱い,変更可能なスレッドごとの圧縮状態を1つのコンパクトな対話メモリに格納する。 各ターンで、ライトウェイトなリトリーブ、リバイブ、ライトバックループがターンにまたがる情報を共有し、古い記憶を更新し、長い水平動作を安定化させる。 さらに,マルチターン設定にトラッピングバックプロパゲーションスルータイム(TBPTT)を適用し,フルヒストリーバックプロパゲーションなしでクロスターン依存関係を学習する。 特に、C-DICは数百のダイアログに対して安定した推論遅延とパープレキシティを示し、高品質なダイアログモデリングへのスケーラブルなパスをサポートする。

関連論文リスト

• Back to Basics: Let Conversational Agents Remember with Just Retrieval and Generation [36.056012318684175]
  既存の会話記憶システムは、長期対話履歴を管理するために複雑な階層化や強化学習に依存している。 我々は2つの重要な現象を識別する:textitDecisive Evidence SparsityとtextitDual-Level Redundancy これらの知見に触発されて,会話記憶を基本に戻す最小限のフレームワークであるメソッドを提案する。
  論文  参考訳（メタデータ） (2026-04-13T15:38:43Z)
• Developing Adaptive Context Compression Techniques for Large Language Models (LLMs) in Long-Running Interactions [0.0]
  大規模言語モデル(LLM)は、コンテキスト長、メモリ飽和、計算オーバーヘッドの増大により、長時間にわたる相互作用の間、性能劣化を経験することが多い。 本稿では,重要メモリ選択,コヒーレンス・インテリジェンス・フィルタリング,動的予算配分を統合し,コンテキスト成長を制御しながら,重要な会話情報を保持する適応型コンテキスト圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-31T02:57:48Z)
• Cross-Modal Memory Compression for Efficient Multi-Agent Debate [46.000284867049565]
  マルチエージェントの議論は推論の質を改善し、幻覚を減少させるが、議論のラウンドやエージェント数の増加とともに急速に増大する。 DebateOCRは、長いテキストの議論トレースをコンパクトな画像表現に置き換えるクロスモーダル圧縮フレームワークである。 この設計では、一般に数万から数十万のトークンにまたがる履歴を圧縮し、入力トークンを92%以上削減し、計算コストを大幅に削減し、推論を高速化する。
  論文  参考訳（メタデータ） (2026-01-31T02:02:26Z)
• LoopServe: An Adaptive Dual-phase LLM Inference Acceleration System for Multi-Turn Dialogues [59.12542274007847]
  LoopServeは、多ターン対話における大規模言語モデルのための適応的な二相推論フレームワークである。 LoopServeは、既存のベースラインに比べて一貫して優れた効率を実現している。
  論文  参考訳（メタデータ） (2025-07-18T06:12:08Z)
• Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities [93.09944267871163]
  FullDuplexBenchは、重要なインタラクティブな振る舞いを体系的に評価するベンチマークである。 ベンチマークコードを公開することによって、音声対話モデリングの進歩と、より自然で魅力的なSDMの開発を目指しています。
  論文  参考訳（メタデータ） (2025-03-06T18:59:16Z)
• StreamingDialogue: Prolonged Dialogue Learning via Long Context Compression with Minimal Losses [67.92595110412094]
  StreamingDialogueは長い対話履歴を最小限の損失でconv-attnシンクに圧縮する。 本手法は対話タスクにおいて強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-03-13T07:44:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。