論文の概要: ACR: Adaptive Context Refactoring via Context Refactoring Operators for Multi-Turn Dialogue
- arxiv url: http://arxiv.org/abs/2601.05589v1
- Date: Fri, 09 Jan 2026 07:17:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-12 17:41:49.890144
- Title: ACR: Adaptive Context Refactoring via Context Refactoring Operators for Multi-Turn Dialogue
- Title(参考訳): ACR:マルチターン対話のためのコンテキストリファクタリング演算子による適応的コンテキストリファクタリング
- Authors: Jiawei Shen, Jia Zhu, Hanghui Guo, Weijie Shi, Yue Cui, Qingyu Niu, Guoqing Ma, Yidan Liang, Jingjiang Liu, Yiling Wang, Shimin Di, Jiajie Xu,
- Abstract要約: 大規模言語モデル(LLM)はマルチターン対話において顕著な性能を示した。
既存のアプローチは主にコンテキストウィンドウの拡張、外部メモリの導入、コンテキスト圧縮の適用に焦点を当てている。
textbfAdaptive textbfContext textbfRefactoring textbf(ACR) Frameworkを提案する。
- 参考スコア(独自算出の注目度): 16.32928730900186
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have shown remarkable performance in multi-turn dialogue. However, in multi-turn dialogue, models still struggle to stay aligned with what has been established earlier, follow dependencies across many turns, and avoid drifting into incorrect facts as the interaction grows longer. Existing approaches primarily focus on extending the context window, introducing external memory, or applying context compression, yet these methods still face limitations such as \textbf{contextual inertia} and \textbf{state drift}. To address these challenges, we propose the \textbf{A}daptive \textbf{C}ontext \textbf{R}efactoring \textbf{(ACR)} Framework, which dynamically monitors and reshapes the interaction history to mitigate contextual inertia and state drift actively. ACR is built on a library of context refactoring operators and a teacher-guided self-evolving training paradigm that learns when to intervene and how to refactor, thereby decoupling context management from the reasoning process. Extensive experiments on multi-turn dialogue demonstrate that our method significantly outperforms existing baselines while reducing token consumption.
- Abstract(参考訳): 大規模言語モデル(LLM)はマルチターン対話において顕著な性能を示した。
しかし、マルチターン対話では、モデルは以前確立されたものと整合し、多くのターンにまたがる依存関係に従い、相互作用が長くなるにつれて誤った事実に漂うのを避けるのに依然として苦労している。
既存のアプローチは、主にコンテキストウィンドウの拡張、外部メモリの導入、あるいはコンテキスト圧縮を適用することに重点を置いているが、これらのメソッドは依然として \textbf{contextual inertia} や \textbf{state drift} のような制限に直面している。
これらの課題に対処するために、動的に相互作用履歴を監視して、コンテキスト慣性や状態ドリフトを積極的に緩和する、 \textbf{A}daptive \textbf{C}ontext \textbf{R}efactoring \textbf{(ACR)} Frameworkを提案する。
ACRは、コンテキストリファクタリングオペレータと、いつ介入するか、どのようにリファクタリングするかを学ぶ教師主導の自己進化トレーニングパラダイムのライブラリ上に構築されており、それによって、コンテキスト管理を推論プロセスから切り離すことができる。
マルチターンダイアログの大規模な実験により,トークン消費を低減しつつ,既存のベースラインを著しく上回る結果が得られた。
関連論文リスト
- Context-aware Fairness Evaluation and Mitigation in LLMs [16.594400974742523]
大きな言語モデルは、しばしばその内部表現に埋め込まれた望ましくない振る舞いを示す。
プルーニングベースの手法は、特定の行動に責任があるニューロンを調整することでバイアスを減らす柔軟で透明な方法を提供する。
本研究では,文脈認識ニューロンの活性化を検知する動的で可逆的なプルーニングに基づくフレームワークを提案し,アダプティブマスキングを適用して生成時の影響を調節する。
論文 参考訳(メタデータ) (2025-10-21T06:13:17Z) - Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。
モーダル内相互作用を利用した解釈可能性の向上を提案する。
論文 参考訳(メタデータ) (2025-09-26T14:39:13Z) - MARS-Bench: A Multi-turn Athletic Real-world Scenario Benchmark for Dialogue Evaluation [50.92800625083123]
大規模言語モデル(textbfLLMs)は現実世界の対話アプリケーションで広く採用されている。
MARS-Benchはプレイバイプレイのテキストコメンタリーから構築され、リアルな対話を特徴とする。
MARS-Bench の実験では、クローズドソース LLM がオープンソース代替よりも大幅に優れていることも明らかにされている。
論文 参考訳(メタデータ) (2025-05-27T10:28:04Z) - QRMeM: Unleash the Length Limitation through Question then Reflection Memory Mechanism [46.441032033076034]
メモリメカニズムは、長いコンテキストを管理するための柔軟なソリューションを提供する。
本稿では,二重構造メモリプールを組み込んだ新しい手法であるQRMeMを提案する。
マルチチョイス質問 (MCQ) とマルチドキュメント質問応答 (Multi-doc QA) のベンチマークによる評価では,既存手法と比較してQRMeMの性能が向上している。
論文 参考訳(メタデータ) (2024-06-19T02:46:18Z) - Thread of Thought Unraveling Chaotic Contexts [133.24935874034782]
思考のスレッド(ThoT)戦略は、人間の認知プロセスからインスピレーションを得ている。
実験では、他のプロンプト技術と比較して、ThoTは推論性能を著しく改善する。
論文 参考訳(メタデータ) (2023-11-15T06:54:44Z) - JoTR: A Joint Transformer and Reinforcement Learning Framework for
Dialog Policy Learning [53.83063435640911]
対話政策学習(DPL)は対話モデリングの重要な構成要素である。
フレキシブルな対話行動を生成するための新しいフレームワークであるJoTRを導入する。
従来の方法とは異なり、JoTRはよりダイナミックで適応可能な対話アクション生成を可能にするワードレベルのポリシーを定式化している。
論文 参考訳(メタデータ) (2023-09-01T03:19:53Z) - Towards End-to-End Open Conversational Machine Reading [57.18251784418258]
オープン検索型会話機械読解(OR-CMR)タスクでは,機械は対話履歴とテキスト知識ベースに応答するマルチターン質問を行う必要がある。
OR-CMRを完全エンドツーエンドで統一されたテキスト・ツー・テキスト・タスクとしてモデル化し、ShARCおよびOR-ShARCデータセットを用いた実験により、提案したエンドツーエンド・フレームワークの有効性を示す。
論文 参考訳(メタデータ) (2022-10-13T15:50:44Z) - DialAug: Mixing up Dialogue Contexts in Contrastive Learning for Robust
Conversational Modeling [3.3578533367912025]
本稿では,対話コンテキストの拡張バージョンを学習目的に組み込むフレームワークを提案する。
提案手法は,従来のデータ拡張手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-04-15T23:39:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。