論文の概要: Role-aware Heuristic Episodic Attention for Conversational LLMs

• arxiv url: http://arxiv.org/abs/2610.00958v1
• Date: Thu, 01 Oct 2026 02:39:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.853472
• Title: Role-aware Heuristic Episodic Attention for Conversational LLMs
• Title（参考訳）: 会話型LLMにおける役割認識型ヒューリスティック・エピソード注意
• Abstract要約: 大規模言語モデルは、マルチターン会話が増加するにつれて、永続的な命令や関連する情報を追跡できなくなることが多い。 本稿では,REA(Role-Aware Heuristic Episodic Attention)を提案する。
• 参考スコア（独自算出の注目度）: 36.91809943381492
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models often lose track of persistent instructions and relevant information as multi-turn conversations grow. We study this cumulative contextual decay through three related failure modes: attention pollution, dilution, and drift. We propose REA (Role-aware Heuristic Episodic Attention), a context-management framework that assigns different persistence and representation policies to instructions and episodic interactions. Instructional Memory retains identified global constraints in a dedicated prefix. Episodic Memory preserves user inputs and compresses model replies, while heuristic retrieval selects raw text, compressed representations, or omission for each historical turn. On Long-MT-Bench+, REA improves the judge score from 6.32 to 7.36 on a 10-point scale, a 16.5% relative gain over the Vanilla baseline, and reduces average latency by 2.91$\times$. Additional evaluations show aggregate gains on three backbones spanning 1.7B-7B parameters and on Chinese and English role-playing tasks. These results support role-aware context management as a practical approach to maintaining conversational continuity and instruction adherence.
• Abstract（参考訳）: 大規模言語モデルは、マルチターン会話が増加するにつれて、永続的な命令や関連する情報を追跡できなくなることが多い。 我々は,この累積的文脈崩壊を,注意汚染,希釈,漂流の3つの障害モードを通じて研究する。 本稿では,REA(Role-Aware Heuristic Episodic Attention)を提案する。 命令記憶は、特定のグローバルな制約を専用のプレフィックスで保持する。 エピソードメモリはユーザの入力を保存し、モデル応答を圧縮する一方、ヒューリスティック検索は各履歴ターンに対して原文、圧縮表現、または省略を選択する。 Long-MT-Bench+では、REAは判断スコアを10ポイントで6.32から7.36に改善し、バニラベースラインを16.5%上回り、平均レイテンシを2.91$\times$に下げる。 追加評価では、1.7B-7Bパラメータにまたがる3つのバックボーンと、中国語と英語のロールプレイングタスクの合計ゲインが示されている。 これらの結果は,会話の連続性と指示の順応性を維持するための実践的アプローチとして,役割認識型コンテキスト管理を支援する。

関連論文リスト

• VoiceLongMemEval: Do Assistants Remember How You Sounded? [2.3577368017815696]
  現在のベンチマークでは、この対話履歴を、長い地平線上の情報検索、時間的推論、知識更新として評価している。 我々はVoiceLongMemEvalベンチマークを示し、すべての回答は会話のターンに付随するパラ言語的メタデータに依存する。
  論文  参考訳（メタデータ） (2026-09-01T02:06:10Z)
• MINTEval: Evaluating Memory under Multi-Target Interference in Long-Horizon Agent Systems [69.06764269022925]
  本研究では,現在の記憶増強剤が現実的,干渉重大,長期的設定において果たす役割について検討する。 MINTEvalは、頻繁に更新される情報を備えた、長く高度に相互接続されたコンテキストを特徴とするベンチマークである。 MINTEvalは128.8kのトークンを平均で1インスタンスあたり1.8Mのトークンに拡張し、15.6kの質問応答ペアを持つ。
  論文  参考訳（メタデータ） (2026-05-18T15:43:35Z)
• PERMA: Benchmarking Personalized Memory Agents via Event-Driven Preference and Realistic Task Environments [72.02445514666428]
  静的な嗜好リコールを超えてペルマの一貫性を評価するためのベンチマークであるPERMAを紹介する。 PerMAは、複数のセッションとドメインにまたがる時間的に順序付けられたインタラクションイベントと、時間とともに好みに関連するクエリで構成されている。 実験により、関連するインタラクションをリンクすることで、高度なメモリシステムはより正確な好みを抽出し、トークン消費を減らすことができることが示された。
  論文  参考訳（メタデータ） (2026-03-24T14:04:11Z)
• Memory-T1: Reinforcement Learning for Temporal Reasoning in Multi-session Agents [80.33280979339123]
  強化学習(RL)を用いた時間認識メモリ選択ポリシーを学習するフレームワークであるMemory-T1を紹介する。 Time-Dialogベンチマークでは、Memory-T1が7Bモデルを67.0%に引き上げ、オープンソースモデルの新たな最先端パフォーマンスを確立した。
  論文  参考訳（メタデータ） (2025-12-23T06:37:29Z)
• Rhea: Role-aware Heuristic Episodic Attention for Conversational LLMs [36.91809943381492]
  大規模言語モデル(LLM)はシングルターンタスクにおいて顕著な性能を達成しているが、その効果はマルチターン会話において悪化している。 本稿では,会話履歴を2つの機能独立メモリモジュールに分離する新しいフレームワークRheaを提案する。 実験により、Rheaは性能低下を緩和し、総合的な精度を10点スケールで1.04ポイント向上することが示された。
  論文  参考訳（メタデータ） (2025-12-07T14:50:03Z)
• One Battle After Another: Probing LLMs' Limits on Multi-Turn Instruction Following with a Benchmark Evolving Framework [51.50565654314582]
  大規模言語モデルは、複数のトピックにまたがる対話を通して、ユーザの指示に従うことができる。 既存のベンチマークは、しばしば一定回数のターンに制限されるため、飽和の影響を受けにくく、ユーザのインタラクティブなエクスペリエンスを考慮できない。 マルチターン命令追従能力を評価するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-05T14:39:59Z)
• Pause-Tuning for Long-Context Comprehension: A Lightweight Approach to LLM Attention Recalibration [4.7429246847107835]
  本稿では,長文入力の理解を深めるために注意を喚起する手法である停止チューニングを導入する。 提案手法では,ポーズトークンを人工的に挿入したデータセット上での言語モデルを微調整する。 本稿では,Needle-in-a-Haystackベンチマークを用いて,代替手法に対する停止チューニングを評価する。
  論文  参考訳（メタデータ） (2025-02-01T21:47:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。