論文の概要: Rhea: Role-aware Heuristic Episodic Attention for Conversational LLMs

• arxiv url: http://arxiv.org/abs/2512.06869v1
• Date: Sun, 07 Dec 2025 14:50:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.567465
• Title: Rhea: Role-aware Heuristic Episodic Attention for Conversational LLMs
• Title（参考訳）: Rhea:会話型LLMにおける役割認識型ヒューリスティック・エピソード・アテンション
• Authors: Wanyang Hong, Zhaoning Zhang, Yi Chen, Libo Zhang, Baihui Liu, Linbo Qiao, Zhiliang Tian, Dongsheng Li,
• Abstract要約: 大規模言語モデル(LLM)はシングルターンタスクにおいて顕著な性能を達成しているが、その効果はマルチターン会話において悪化している。 本稿では,会話履歴を2つの機能独立メモリモジュールに分離する新しいフレームワークRheaを提案する。 実験により、Rheaは性能低下を緩和し、総合的な精度を10点スケールで1.04ポイント向上することが示された。
• 参考スコア（独自算出の注目度）: 36.91809943381492
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have achieved remarkable performance on single-turn tasks, yet their effectiveness deteriorates in multi-turn conversations. We define this phenomenon as cumulative contextual decay - a progressive degradation of contextual integrity caused by attention pollution, dilution, and drift. To address this challenge, we propose Rhea (Role-aware Heuristic Episodic Attention), a novel framework that decouples conversation history into two functionally independent memory modules: (1) an Instructional Memory (IM) that persistently stores high-fidelity global constraints via a structural priority mechanism, and (2) an Episodic Memory (EM) that dynamically manages user-model interactions via asymmetric noise control and heuristic context retrieval. During inference, Rhea constructs a high signal-to-noise context by applying its priority attention: selectively integrating relevant episodic information while always prioritizing global instructions. To validate this approach, experiments on multiple multi-turn conversation benchmarks - including MT-Eval and Long-MT-Bench+ - show that Rhea mitigates performance decay and improves overall accuracy by 1.04 points on a 10-point scale (a 16% relative gain over strong baselines). Moreover, Rhea maintains near-perfect instruction fidelity (IAR > 8.1) across long-horizon interactions. These results demonstrate that Rhea provides a principled and effective framework for building more precise, instruction-consistent conversational LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)はシングルターンタスクにおいて顕著な性能を達成しているが、その効果はマルチターン会話において悪化している。 我々は,この現象を,注目汚染,希釈,漂流による文脈整合性の進行的劣化である累積的文脈崩壊と定義する。 この課題に対処するために、Rhea(Role-aware Heuristic Episodic Attention)という、会話履歴を2つの機能的に独立なメモリモジュールに分離する新しいフレームワークを提案する。(1)構造的優先度機構を介して高忠実度グローバル制約を永続的に記憶する命令記憶(IM)、(2)非対称ノイズ制御とヒューリスティックコンテキスト検索によるユーザモデルインタラクションを動的に管理するエピソード記憶(EM)である。 推論中、Rheaは、常にグローバル命令を優先順位付けしながら、関連するエピソード情報を選択的に統合することで、高い信号と雑音のコンテキストを構築する。 このアプローチを検証するために、MT-EvalやLong-MT-Bench+を含む複数のマルチターン会話ベンチマークの実験では、Rheaはパフォーマンスの劣化を軽減し、10ポイントスケールで1.04ポイント(強いベースラインよりも16%高い)で全体的な精度を向上させる。 さらに、Rheaは長距離相互作用において、ほぼ完全な命令忠実度(IAR > 8.1)を維持している。 これらの結果は、Rheaがより正確で命令一貫性のある会話型LLMを構築するための、原則的で効果的なフレームワークを提供することを示している。

関連論文リスト

• Thinking Forward and Backward: Multi-Objective Reinforcement Learning for Retrieval-Augmented Reasoning [137.33138614095435]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルにおける幻覚の緩和に有効であることが証明されている。 近年、検索に基づく対話をRAGに組み込んで、リアルタイム検索による反復推論を可能にしている。 提案するBi-RARは,各中間ステップを前方方向と後方方向の両方で共同で評価する,新たな検索拡張推論フレームワークである。
  論文  参考訳（メタデータ） (2025-11-12T08:29:39Z)
• Recent Trends in Distant Conversational Speech Recognition: A Review of CHiME-7 and 8 DASR Challenges [63.741916531380696]
  CHiME-7と8つの遠隔音声認識(DASR)の課題は、多チャンネル、一般化可能、共同自動音声認識(ASR)、対話音声のダイアリゼーションである。 本稿では,参加者からの重要傾向を分析しつつ,課題の設計,評価指標,データセット,ベースラインシステムについて概説する。
  論文  参考訳（メタデータ） (2025-07-24T07:56:24Z)
• PaceLLM: Brain-Inspired Large Language Models for Long-Context Understanding [20.849307413516183]
  本研究では,(1)前頭前野(PFC)ニューロンの持続的発火を模倣する持続的活動(PA)機構を,活性化レベルメモリバンクを導入し,重要なFFN状態を動的に回収・再利用・更新し,文脈崩壊に対処し,(2)タスク適応型ニューラルスペシャライゼーションをエミュレートし,FFN重みをセマンティックモジュールに再編成し,相互依存を確立し,フラグメンテーションを緩和する,という2つの革新を特徴とするPaceLLMを提案する。
  論文  参考訳（メタデータ） (2025-06-18T09:17:06Z)
• Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory [0.5584627289325719]
  大規模言語モデル(LLM)は、文脈的に一貫性のある応答を生成する際、顕著な進歩を示した。 しかし、それらの固定されたコンテキストウィンドウは、長時間のマルチセッション対話に対する一貫性を維持するための根本的な課題を生じさせる。 私たちはMem0というスケーラブルなメモリ中心アーキテクチャを導入し、進行中の会話から健全な情報を動的に抽出し、統合し、取得することでこの問題に対処します。
  論文  参考訳（メタデータ） (2025-04-28T01:46:35Z)
• In Prospect and Retrospect: Reflective Memory Management for Long-term Personalized Dialogue Agents [70.12342024019044]
  大規模言語モデル(LLM)は、オープンエンド対話において大きな進歩を遂げているが、関連する情報の保持と取得ができないため、その有効性は制限されている。 本稿では,長期対話エージェントのための新しいメカニズムであるリフレクティブメモリ管理(RMM)を提案する。 RMMは、LongMemEvalデータセットのメモリ管理なしでベースラインよりも10%以上精度が向上している。
  論文  参考訳（メタデータ） (2025-03-11T04:15:52Z)
• Decoding the Flow: CauseMotion for Emotional Causality Analysis in Long-form Conversations [22.000288488609733]
  causeMotionは、Retrieval-Augmented Generation (RAG)とMultimodal fusionを基盤とした、長期にわたる感情因果推論フレームワークである。 RAGとスライディングウィンドウ機構を統合することで、コンテキストに関連のある対話セグメントを効果的に検索し、活用する。 CauseMotionと統合されたGLM-4は、オリジナルのモデルよりも因果精度が8.7%向上し、GPT-4oを1.2%上回る。 公開されているDiaASQデータセット上で、Co causedMotion-GLM-4は、精度、F1スコア、因果推論精度の最先端結果を達成する。
  論文  参考訳（メタデータ） (2025-01-01T09:10:32Z)
• Echotune: A Modular Extractor Leveraging the Variable-Length Nature of Speech in ASR Tasks [4.132793413136553]
  可変長アテンション機構を備えたピンブルモジュールであるEcho-MSAを紹介する。 提案した設計は,音声の可変長の特徴を捉え,固定長注意の限界に対処する。
  論文  参考訳（メタデータ） (2023-09-14T14:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。