論文の概要: DySK-Attn: A Framework for Efficient, Real-Time Knowledge Updating in Large Language Models via Dynamic Sparse Knowledge Attention

• arxiv url: http://arxiv.org/abs/2508.07185v1
• Date: Sun, 10 Aug 2025 05:22:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.742521
• Title: DySK-Attn: A Framework for Efficient, Real-Time Knowledge Updating in Large Language Models via Dynamic Sparse Knowledge Attention
• Title（参考訳）: DySK-Attn:動的スパース知識による大規模言語モデルの効率的なリアルタイム更新のためのフレームワーク
• Authors: Kabir Khan, Priya Sharma, Arjun Mehta, Neha Gupta, Ravi Narayanan,
• Abstract要約: 大きな言語モデル(LLM)は、その知識が静的で、すぐに時代遅れになるという限界に悩まされる。 我々は,LLMが動的外部ソースからリアルタイム知識を効率的に統合できる新しいフレームワークであるDySK-Attnを提案する。
• 参考スコア（独自算出の注目度）: 2.168994673914057
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) suffer from a critical limitation: their knowledge is static and quickly becomes outdated. Retraining these massive models is computationally prohibitive, while existing knowledge editing techniques can be slow and may introduce unforeseen side effects. To address this, we propose DySK-Attn, a novel framework that enables LLMs to efficiently integrate real-time knowledge from a dynamic external source. Our approach synergizes an LLM with a dynamic Knowledge Graph (KG) that can be updated instantaneously. The core of our framework is a sparse knowledge attention mechanism, which allows the LLM to perform a coarse-to-fine grained search, efficiently identifying and focusing on a small, highly relevant subset of facts from the vast KG. This mechanism avoids the high computational cost of dense attention over the entire knowledge base and mitigates noise from irrelevant information. We demonstrate through extensive experiments on time-sensitive question-answering tasks that DySK-Attn significantly outperforms strong baselines, including standard Retrieval-Augmented Generation (RAG) and model editing techniques, in both factual accuracy for updated knowledge and computational efficiency. Our framework offers a scalable and effective solution for building LLMs that can stay current with the ever-changing world.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、その知識が静的で、すぐに時代遅れになるという限界に悩まされる。 これらの膨大なモデルをリトレーニングすることは、計算的に禁止されるが、既存の知識編集技術は遅く、予期せぬ副作用をもたらす可能性がある。 そこで我々は,LLMが動的外部ソースからリアルタイム知識を効率的に統合できる新しいフレームワークであるDySK-Attnを提案する。 本手法は,リアルタイムに更新可能な動的知識グラフ(KG)を用いてLCMをシナジする。 我々のフレームワークの中核は、粗い知識の注意機構であり、LLMは粗い粒度の探索を行い、膨大なKGから得られる、非常に関連性の高い事実の小さなサブセットを効率的に識別し、焦点を合わせることができる。 このメカニズムは、知識ベース全体に対する高密度な注意の計算コストを回避し、無関係な情報からノイズを軽減します。 我々は,DySK-Attnが標準検索・拡張生成(RAG)やモデル編集技術など,強いベースラインを著しく上回り,知識の更新と計算効率の両面において,時間に敏感な質問応答タスクに関する広範な実験を行った。 当社のフレームワークは、常に変化する世界と現在の状態を維持するLLMを構築するための、スケーラブルで効果的なソリューションを提供します。

関連論文リスト

• TRAIL: Joint Inference and Refinement of Knowledge Graphs with Large Language Models [5.678291291711662]
  TRAILは思考、推論、インクリメンタルラーニングのための、新しく統合されたフレームワークである。 共同推論と動的KG精製を大きな言語モデルと組み合わせる。 複数のベンチマークでの大規模な実験により、TRAILは既存のKG拡張および検索拡張LDMベースラインを3%から13%上回った。
  論文  参考訳（メタデータ） (2025-08-06T14:25:05Z)
• Efficient Tuning of Large Language Models for Knowledge-Grounded Dialogue Generation [21.52726424882653]
  KEDiTは、知識基底対話生成のための大規模言語モデルを微調整する効率的な方法である。 まず、検索した知識を学習可能なパラメータに圧縮するために情報ボトルネックを使用し、計算オーバーヘッドを最小限に抑えながら重要な情報を保持する。 ウィキペディアのウィザードと新しく構築されたPubMed-Dialogデータセットの実験結果は、KEDiTが文脈的に関連があり、情報的な応答を生成するのに優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-10T13:54:36Z)
• Bridging LLMs and KGs without Fine-Tuning: Intermediate Probing Meets Subgraph-Aware Entity Descriptions [49.36683223327633]
  大規模言語モデル(LLM)は、幅広い世界の知識をカプセル化し、強力なコンテキストモデリング能力を示す。 実効的で効率的なKGCを実現するために,LLMの強みを頑健な知識表現と相乗化するための新しいフレームワークを提案する。 従来手法に比べて47%の相対的な改善を達成し,我々の知る限り,ファインチューニング LLM に匹敵する分類性能を初めて達成した。
  論文  参考訳（メタデータ） (2024-08-13T10:15:55Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。