MiA-Signature: Approximating Global Activation for Long-Context Understanding
Abstractの概要
本論文は、構造化された意味記憶空間（「マインドスケープ」）上でクエリによって誘起されるグローバルなメモリ活性化パターンを近似するコンパクトな表現であるMindscape Activation Signature（MiA-Signature）を提案する。この手法はメモリアクセスを2段階プロセスとしてモデル化する：まずメモリ空間全体にわたる広範な活性化を行い、次にクエリ関連性・カバレッジ・多様性のバランスをとる劣モジュラ選択により高レベルメモリユニットから扱いやすいシグネチャを構築する。シグネチャは静的RAGにおける固定的な条件付け信号として、または反復的エージェントループにおける進化するグローバル状態として使用できる。著者らは4つの長文脈ベンチマーク（DetectiveQA、NarrativeQA、NovelHopQA、NoCha）で評価を行い、多肢選択QA、自由回答QA、マルチホップQA、主張検証を対象としている。結果として、MiA-Signatureは主に検索時のエビデンス選択を改善する一方、回答生成時の利点はタスクやモデルに依存することが示された。
新規性
本研究の独自の貢献は、LLMのメモリアクセスを構造化記憶空間上でのクエリ誘起グローバル活性化としてモデル化し、局所的な検索のみに依存するのではなく、劣モジュラ選択によって構築されたコンパクトなシグネチャでその活性化を近似する点にある。また、静的RAGにおけるワンショット条件付け信号とエージェントループで反復的に洗練される進化的メモリ状態の両方として機能する統一的なシグネチャインターフェースを提示している。
成果
静的RAGにおいて、MiA-Signatureによる検索の条件付けは、同一の検索器・生成器バックボーン（MiA-Emb / DS-V3.2）の下で平均Recall@10を10.9%、平均タスク性能を3.8%改善した。反復的エージェント設定では、MiA-Agentは検索アノテーション付きの全ベンチマークでシグネチャなしエージェントに対して検索リコールを改善し、特にDetectiveQA-ZHとNovelHopQAで顕著な向上が見られた。回答時のアブレーションにより、シグネチャは生成よりも検索の補助としてより信頼性が高く、シグネチャと蓄積エビデンスの組み合わせはNoChaで特に有効であることが示された（PairAcc 71.4 vs. メモリ状態なし57.1）。
論文の注目点
- MiA-Signatureは、構造化記憶空間上でクエリによって誘起されるグローバル活性化パターンのコンパクトな代理として定義され、検索エビデンスの単純な要約代替ではなく、関連性・カバレッジ・多様性のための劣モジュラ選択により高レベルメモリユニットから構築される。
- 本手法は、静的RAGにおけるワンショット条件付け信号として、また反復的エージェントループにおいてクエリ書き換えやエビデンス蓄積と並行して洗練される進化的グローバル状態として使用される統一的なメモリインターフェースを提供する。
- 実験的に、本アプローチは静的RAGとエージェント設定の両方で4つの長文脈ベンチマークにわたり一貫した検索改善をもたらす一方、生成側の利得はタスクおよび生成器のグローバルコンテキスト活用能力に依存する。
参考リンク
- arXiv: https://arxiv.org/abs/2605.06416v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2605.06416v1
- Hugging Face Papers: https://huggingface.co/papers/2605.06416