論文の概要: Knowledge Graph Enhanced Memory-Augmented Retrieval for Long Context Modeling

• arxiv url: http://arxiv.org/abs/2606.14047v1
• Date: Fri, 12 Jun 2026 02:48:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.719987
• Title: Knowledge Graph Enhanced Memory-Augmented Retrieval for Long Context Modeling
• Title（参考訳）: 長期文脈モデリングのための知識グラフ強化メモリ拡張検索
• Authors: Ghadir Alselwi, Basem Suleiman, Hao Xue, Shoaib Jameel, Hakim Hacid, Flora D. Salim, Imran Razzak,
• Abstract要約: KGERMARは、推論中に入力テキストから動的でコンテキスト固有の知識グラフを構築する。 文脈、意味、構造という3つの記憶バンクは、学習した重みによって融合した検索信号で維持される。 KGERMARはメモリ拡張ベースラインよりも最大8.5%のパープレキシティと2-2.5倍のメモリ効率を実現している。
• 参考スコア（独自算出の注目度）: 26.182593513761635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-context language modeling requires not only extending context windows but maintaining coherent understanding of entity states and relationships across thousands of tokens -- a challenge that semantic similarity alone cannot address. KGERMAR addresses this by constructing dynamic, context-specific knowledge graphs from input text during inference, enabling domain-adaptive retrieval that leverages both semantic similarity and explicit entity relationships. The framework performs real-time entity and relation extraction to build contextual knowledge graphs, then integrates graph-structural embeddings with textual semantics through a multi-component memory architecture. Three memory banks -- contextual, semantic, and structural -- are maintained with retrieval signals fused via learned weights to capture both surface-level semantics and deeper relational patterns. Evaluated on SlimPajama (84.7K training examples), WikiText-103 (4,358 examples), PG-19 (100 examples), and Proof-pile (46.3K examples), KGERMAR achieves up to 8.5\% lower perplexity and 2--2.5x better memory efficiency than memory-augmented baselines across context lengths from 1K to 32K tokens, with superior in-context learning performance across five NLU tasks. The dynamic knowledge graph construction approach advances memory-augmented language modeling by enabling domain-specific knowledge representation that adapts to input contexts rather than relying on fixed knowledge bases.
• Abstract（参考訳）: 長期コンテキスト言語モデリングは、コンテキストウィンドウを拡張するだけでなく、数千のトークンにわたるエンティティ状態と関係の一貫性のある理解を維持する必要がある。 KGERMARは、推論中に入力テキストから動的にコンテキスト固有の知識グラフを構築することでこの問題に対処し、意味的類似性と明示的なエンティティの関係の両方を活用するドメイン適応検索を可能にする。 このフレームワークは、コンテキスト知識グラフを構築するためにリアルタイムなエンティティと関係抽出を行い、マルチコンポーネントメモリアーキテクチャを通してグラフ構造埋め込みとテキストセマンティクスを統合する。 3つのメモリバンク(文脈、意味、構造)は、学習した重みを通して融合した検索信号で維持され、表面レベルのセマンティクスと深いリレーショナルパターンの両方をキャプチャする。 SlimPajama (84.7Kのトレーニング例)、WikiText-103 (4,358の例)、PG-19 (100の例)、Proof-pile (46.3Kの例)、KGERMARは最大8.5\%のパープレキシティと2-2.5倍のメモリ効率を実現し、メモリ拡張ベースラインを1Kから32Kのトークンに拡張し、5つのNLUタスクでより優れたコンテキスト内学習性能を実現した。 動的知識グラフ構築アプローチは、固定知識ベースに頼るのではなく、入力コンテキストに適応するドメイン固有の知識表現を可能にすることにより、メモリ拡張言語モデリングを前進させる。

関連論文リスト

• GRAVITY: Architecture-Agnostic Structured Anchoring for Long-Horizon Conversational Memory [38.10762218232756]
  本稿では,プラグイン・アンド・プレイ型構造化メモリモジュールGRAVITYを紹介する。 生会話音声から3つの知識表現を抽出する。 ホストシステムのプロンプトにこれらの表現を、構造化アンカーコンテキストとして注入する。
  論文  参考訳（メタデータ） (2026-05-03T02:55:46Z)
• Unleashing the Potential of Text-attributed Graphs: Automatic Relation Decomposition via Large Language Models [31.443478448031886]
  RoSE (Relation-oriented Semantic Edge-Decomposition) は、生のテキスト属性を分析してグラフ構造を分解する新しいフレームワークである。 我々のフレームワークは、さまざまなデータセットのノード分類性能を大幅に向上させ、ウィスコンシンデータセットでは最大16%の改善を実現した。
  論文  参考訳（メタデータ） (2024-05-28T20:54:47Z)
• Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems [58.561904356651276]
  本稿では,対話型推薦システムのためのエンティティの意味理解を改善するために,知識強化型エンティティ表現学習(KERL)フレームワークを紹介する。 KERLは知識グラフと事前訓練された言語モデルを使用して、エンティティの意味的理解を改善する。 KERLはレコメンデーションとレスポンス生成の両方のタスクで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-12-18T06:41:23Z)
• Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
  汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。 ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-04T16:04:41Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• Dynamic Hybrid Relation Network for Cross-Domain Context-Dependent Semantic Parsing [52.24507547010127]
  ドメイン間コンテキスト依存のセマンティック解析は研究の新たな焦点である。 本稿では,コンテキストの発話,トークン,データベーススキーマ,会話の進行に伴う複雑なインタラクションを効果的にモデル化する動的グラフフレームワークを提案する。 提案したフレームワークは既存のモデルを大きなマージンで上回り、2つの大規模ベンチマークで新しい最先端性能を達成する。
  論文  参考訳（メタデータ） (2021-01-05T18:11:29Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。