論文の概要: Adaptive Focus Memory for Language Models
- arxiv url: http://arxiv.org/abs/2511.12712v1
- Date: Sun, 16 Nov 2025 17:52:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-18 14:36:24.497643
- Title: Adaptive Focus Memory for Language Models
- Title(参考訳): 言語モデルのための適応型フォーカスメモリ
- Authors: Christopher Cruz,
- Abstract要約: 本稿では、過去のメッセージを3つの忠実度レベルのうちの1つに割り当てる動的コンテキストマネージャであるAdaptive Focus Memory(AFM)を紹介する。
AFMは、厳格なトークン予算の下で、対話の安いトレースを保ちながら、最も関連するターンに対して高い忠実度を優先しながら、時系列的にメッセージをパックする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly deployed in multi-turn dialogue settings, but their behavior is still bottlenecked by fixed context windows and naive memory strategies. Replaying the full conversation at every turn is simple but expensive, while static summarization or recency-only heuristics often erase safety-critical user details. We present Adaptive Focus Memory (AFM), a dynamic context manager that assigns each past message one of three fidelity levels -- FULL, COMPRESSED, or PLACEHOLDER -- based on semantic similarity to the current query, half-life recency weighting, and importance classification. AFM packs messages chronologically under a strict token budget, preferring high fidelity for the most relevant turns while aiming to preserve a cheap trace of the dialogue. In a safety-oriented benchmark involving a user with a severe peanut allergy planning a trip to Thailand, AFM retains the allergy across both short and medium-length conversations, matches the safety performance of naive replay, and cuts average token usage by 66% relative to a replay baseline. We release a modular Python implementation of AFM designed for OpenAI-compatible APIs and offline operation, enabling practitioners to reduce inference cost without sacrificing safety or factual continuity in the evaluated scenario.
- Abstract(参考訳): 大規模言語モデル(LLM)は、マルチターンの対話設定にますますデプロイされているが、その振る舞いは、固定されたコンテキストウィンドウと単純なメモリ戦略によってボトルネックになっている。
すべてのターンで完全な会話を再生するのはシンプルだが、静的な要約や、直流のみのヒューリスティックは、安全クリティカルなユーザーの詳細を消去することが多い。
我々は、現在のクエリとセマンティックな類似性、半減重み付け、重要度分類に基づいて、過去のメッセージに3つの忠実度レベル(FULL、COMPRESSED、PLACEHOLDER)の1つを割り当てる動的コンテキストマネージャであるAdaptive Focus Memory(AFM)を提示する。
AFMは、厳格なトークン予算の下で、対話の安いトレースを保ちながら、最も関連するターンに対して高い忠実度を優先しながら、時系列的にメッセージをパックする。
タイへの旅行を計画する深刻なピーナッツアレルギーを持つユーザーが関与する安全指向のベンチマークでは、AFMは短距離と中距離の会話でアレルギーを保ち、単純なリプレイの安全性性能と一致し、リプレイベースラインに対して平均トークン使用率を66%削減する。
我々は,OpenAI互換APIとオフライン操作用に設計されたAFMのモジュール型Python実装をリリースした。
関連論文リスト
- RGMem: Renormalization Group-based Memory Evolution for Language Agent User Profile [8.224917568034572]
物理における古典的再正規化群(RG)のイデオロギーに着想を得た自己進化型メモリフレームワークを提案する。
このフレームワークは対話履歴を複数のスケールで整理することができる。
私たちの研究の中核的な革新は、情報圧縮と出現のマルチスケールプロセスとしてのメモリ進化をモデル化することにあります。
論文 参考訳(メタデータ) (2025-10-18T08:16:46Z) - AssoMem: Scalable Memory QA with Multi-Signal Associative Retrieval [28.858496175399623]
本稿では,対話発話をアンロックして手がかりを自動的に抽出する連想記憶グラフ構築フレームワークAssoMemを提案する。
AssoMemはSOTAベースラインを一貫して上回り、コンテキスト対応メモリリコールにおいてその優位性を検証する。
論文 参考訳(メタデータ) (2025-10-12T01:23:23Z) - Mnemosyne: An Unsupervised, Human-Inspired Long-Term Memory Architecture for Edge-Based LLMs [1.2582867366903179]
我々は、エッジベース大規模言語モデル(LLM)のための、教師なし、人間にインスパイアされた長期記憶アーキテクチャであるMnemosyneを紹介する。
提案手法では, グラフ構造記憶, モジュール状物質および冗長性フィルタ, メモリコミットとプルーニング機構, 時間減衰とリフレッシュ処理による確率的リコールを用いた。
Mnemosyneは、反復的で意味的に類似しているが、時間的に異なる会話は、ナイーブ検索によって制限される縦型医療アシスタントでの使用を目的として設計されている。
論文 参考訳(メタデータ) (2025-10-07T03:32:53Z) - KnowMT-Bench: Benchmarking Knowledge-Intensive Long-Form Question Answering in Multi-Turn Dialogues [58.305425399644086]
MT-LFQA(Multi-Turn Long-Form Question Answering)は、知識集約ドメインにおけるLLM(Large Language Models)の重要な応用パラダイムである。
textbfKnowMT-Benchは、知識集約的な分野にわたるLLMのためのMT-LFQAを体系的に評価するために設計された、テキストファーストなベンチマークである。
論文 参考訳(メタデータ) (2025-09-26T04:32:29Z) - Pay More Attention To Audio: Mitigating Imbalance of Cross-Modal Attention in Large Audio Language Models [60.857389526958485]
MATAはLALMを動的にプッシュして、自己保持機構内で textbfMore textbfAttention textbfTo textbfAudioトークンを支払います。
MMAUとMMARベンチマークの実験により、MATAの有効性が確認され、一貫した性能が向上した。
論文 参考訳(メタデータ) (2025-09-23T09:02:15Z) - SSFO: Self-Supervised Faithfulness Optimization for Retrieval-Augmented Generation [20.129079009870125]
我々は,RAGの忠実度を高めるために,自己監督的忠実度最適化(SSFO)を導入する。
SSFOは、コンテキストを伴わずに生成されたモデルの出力を対比することで、好みのデータペアを構築する。
SSFOは既存の手法よりも優れており,複数の文脈に基づく質問応答データセットに対する最先端の忠実性を実現している。
論文 参考訳(メタデータ) (2025-08-24T06:58:29Z) - MEM1: Learning to Synergize Memory and Reasoning for Efficient Long-Horizon Agents [84.62985963113245]
我々は,長時間のマルチターンタスクに対して,エージェントが一定のメモリで動作可能な,エンドツーエンドの強化学習フレームワークMEM1を紹介する。
各ターンでMEM1は、メモリ統合と推論を共同でサポートするコンパクトな共有内部状態を更新する。
その結果,MEM1-7Bは16目的のマルチホップQAタスクにおいて,Qwen2.5-14B-Instructと比較してメモリ使用量を3.7倍削減し,3.5倍の性能向上を示す。
論文 参考訳(メタデータ) (2025-06-18T19:44:46Z) - MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。
我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。
MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
論文 参考訳(メタデータ) (2025-06-09T16:16:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。