論文の概要: MT-OSC: Path for LLMs that Get Lost in Multi-Turn Conversation

• arxiv url: http://arxiv.org/abs/2604.08782v1
• Date: Thu, 09 Apr 2026 21:39:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.591056
• Title: MT-OSC: Path for LLMs that Get Lost in Multi-Turn Conversation
• Title（参考訳）: MT-OSC:マルチスレッド会話で失われるLCMのパス
• Authors: Jyotika Singh, Fang Tu, Miguel Ballesteros, Weiyi Sun, Sandip Ghoshal, Michelle Yuan, Yassine Benajiba, Sujith Ravi, Dan Roth,
• Abstract要約: MT-OSC(Sequential Condensation framework)は,ユーザエクスペリエンスを損なうことなく,バックグラウンドでのチャット履歴を効率的に凝縮するフレームワークである。 我々はMT-OSCを13の最先端LCMと多様なマルチターンベンチマークで評価し、連続的にマルチターン性能ギャップを狭める。 我々は,MT-OSCをマルチターンチャットのスケーラブルなスケーラブルなソリューションとして確立し,制約された入力空間内でのコンテキストのリッチ化,レイテンシと運用コストの低減,性能のバランスを図った。
• 参考スコア（独自算出の注目度）: 37.56638517527325
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) suffer significant performance degradation when user instructions and context are distributed over multiple conversational turns, yet multi-turn (MT) interactions dominate chat interfaces. The routine approach of appending full chat history to prompts rapidly exhausts context windows, leading to increased latency, higher computational costs, and diminishing returns as conversations extend. We introduce MT-OSC, a One-off Sequential Condensation framework that efficiently and automatically condenses chat history in the background without disrupting the user experience. MT-OSC employs a Condenser Agent that uses a few-shot inference-based Condenser and a lightweight Decider to selectively retain essential information, reducing token counts by up to 72% in 10-turn dialogues. Evaluated across 13 state-of-the-art LLMs and diverse multi-turn benchmarks, MT-OSC consistently narrows the multi-turn performance gap - yielding improved or preserved accuracy across datasets while remaining robust to distractors and irrelevant turns. Our results establish MT-OSC as a scalable solution for multi-turn chats, enabling richer context within constrained input spaces, reducing latency and operational cost, while balancing performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ユーザ命令とコンテキストが複数の会話のターンに分散される一方で、マルチターン(MT)インタラクションがチャットインターフェースを支配している場合、大幅なパフォーマンス低下を被る。 フルチャット履歴を付加して、コンテキストウィンドウを急速に枯渇させ、遅延の増加、計算コストの増大、会話の延長に伴うリターンの減少につながる、通常のアプローチである。 MT-OSCは,ユーザエクスペリエンスを損なうことなく,バックグラウンドでのチャット履歴を効率的にかつ自動的に凝縮する,ワンオフシーケンス・コンデンサ・フレームワークである。 MT-OSCでは、数発の推論ベースのCondenserと軽量のDeciderを使用して重要な情報を選択的に保持し、10ターン対話でトークン数を最大72%削減するCondenser Agentを採用している。 13の最先端のLLMと多様なマルチターンベンチマークで評価され、MT-OSCは一貫してマルチターンのパフォーマンスギャップを狭めている。 その結果,MT-OSCをマルチターンチャットのスケーラブルなソリューションとして確立し,制約された入力空間内でのコンテキストのリッチ化,レイテンシの低減,運用コストの低減を実現し,性能のバランスをとることができた。

関連論文リスト

• Beyond Prompting: Efficient and Robust Contextual Biasing for Speech LLMs via Logit-Space Integration (LOGIC) [8.474586607625737]
  我々は、デコード層で直接動作する効率的で堅牢なフレームワークであるLOGICを紹介する。 LogICは、入力処理からコンテキストインジェクションを分離し、一定時間の複雑さを保証する。 Phi-4-MMモデルを11個の多言語局所で実験したところ、LOGICはEntity WERの平均9%の相対的な減少を達成することが示された。
  論文  参考訳（メタデータ） (2026-01-21T19:08:45Z)
• DYCP: Dynamic Context Pruning for Long-Form Dialogue with LLMs [8.451732843394973]
  大きな言語モデル(LLM)は、対話の長さが大きくなるにつれて応答遅延が増加し、応答品質が低下する。 我々は,クエリ時に関連メモリを動的に分割・取得する,軽量なコンテキスト管理手法であるDyCPを紹介する。
  論文  参考訳（メタデータ） (2026-01-12T20:47:50Z)
• Reactive Transformer (RxT) -- Stateful Real-Time Processing for Event-Driven Reactive Language Models [0.0]
  Reactive Transformer(RxT)は、データ駆動のパラダイムからイベント駆動のパラダイムに移行することで制限を克服するように設計された、新しいアーキテクチャである。 RxTは、各会話ターンを離散イベントとしてリアルタイムに処理し、統合された短期記憶(STM)システムでコンテキストを維持する。 我々はRxTが低レイテンシを実現し、真にリアルタイム、ステートフル、経済的に実行可能なロングフォームな会話を可能にすることを示す。
  論文  参考訳（メタデータ） (2025-10-03T23:18:07Z)
• KnowMT-Bench: Benchmarking Knowledge-Intensive Long-Form Question Answering in Multi-Turn Dialogues [58.305425399644086]
  MT-LFQA(Multi-Turn Long-Form Question Answering)は、知識集約ドメインにおけるLLM(Large Language Models)の重要な応用パラダイムである。 textbfKnowMT-Benchは、知識集約的な分野にわたるLLMのためのMT-LFQAを体系的に評価するために設計された、テキストファーストなベンチマークである。
  論文  参考訳（メタデータ） (2025-09-26T04:32:29Z)
• LoopServe: An Adaptive Dual-phase LLM Inference Acceleration System for Multi-Turn Dialogues [59.12542274007847]
  LoopServeは、多ターン対話における大規模言語モデルのための適応的な二相推論フレームワークである。 LoopServeは、既存のベースラインに比べて一貫して優れた効率を実現している。
  論文  参考訳（メタデータ） (2025-07-18T06:12:08Z)
• Task-Oriented Feature Compression for Multimodal Understanding via Device-Edge Co-Inference [54.53508601749513]
  本稿では,マルチモーダル理解のためのタスク指向特徴圧縮(TOFC)手法を提案する。 圧縮効率を向上させるために、視覚特徴の特性に基づいて複数のエントロピーモデルを適応的に選択する。 その結果,TOFCはデータ転送オーバーヘッドを最大52%削減し,システム遅延を最大63%削減できることがわかった。
  論文  参考訳（メタデータ） (2025-03-17T08:37:22Z)
• DroidSpeak: KV Cache Sharing for Cross-LLM Communication and Multi-LLM Serving [14.700431530275132]
  DroidSpeakは分散ノード間でKVキャッシュの再利用を可能にする最初の分散LLM推論システムである。 DroidSpeakは最大4倍のスループット向上と約3.1倍高速プリフィル(タイム・ツー・ファーストトークン)を実現していることを示す。 多様なデータセットとモデルペアの実験では、DroidSpeakは最大4倍のスループット向上と約3.1倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-11-05T05:41:41Z)
• Beyond the Turn-Based Game: Enabling Real-Time Conversations with Duplex Models [66.24055500785657]
  従来のターンベースのチャットシステムは、ユーザが応答を生成している間に、システムが言葉で対話することを防ぐ。 これらの制限を克服するため,既存のLCMをユーザを聴きながら出力を生成し,ユーザに対して即時フィードバックを提供する。 クエリとレスポンスの時間スライスを交互に行うデータセットを構築し、インスタントインタラクションにおける典型的なフィードバックタイプをカバーする。
  論文  参考訳（メタデータ） (2024-06-22T03:20:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。