論文の概要: DySK-Attn: A Framework for Efficient, Real-Time Knowledge Updating in Large Language Models via Dynamic Sparse Knowledge Attention
- arxiv url: http://arxiv.org/abs/2508.07185v1
- Date: Sun, 10 Aug 2025 05:22:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-12 21:23:28.742521
- Title: DySK-Attn: A Framework for Efficient, Real-Time Knowledge Updating in Large Language Models via Dynamic Sparse Knowledge Attention
- Title（参考訳）: DySK-Attn:動的スパース知識による大規模言語モデルの効率的なリアルタイム更新のためのフレームワーク
- Authors: Kabir Khan, Priya Sharma, Arjun Mehta, Neha Gupta, Ravi Narayanan,
- Abstract要約: 大きな言語モデル(LLM)は、その知識が静的で、すぐに時代遅れになるという限界に悩まされる。
我々は,LLMが動的外部ソースからリアルタイム知識を効率的に統合できる新しいフレームワークであるDySK-Attnを提案する。
- 参考スコア（独自算出の注目度）: 2.168994673914057
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) suffer from a critical limitation: their knowledge is static and quickly becomes outdated. Retraining these massive models is computationally prohibitive, while existing knowledge editing techniques can be slow and may introduce unforeseen side effects. To address this, we propose DySK-Attn, a novel framework that enables LLMs to efficiently integrate real-time knowledge from a dynamic external source. Our approach synergizes an LLM with a dynamic Knowledge Graph (KG) that can be updated instantaneously. The core of our framework is a sparse knowledge attention mechanism, which allows the LLM to perform a coarse-to-fine grained search, efficiently identifying and focusing on a small, highly relevant subset of facts from the vast KG. This mechanism avoids the high computational cost of dense attention over the entire knowledge base and mitigates noise from irrelevant information. We demonstrate through extensive experiments on time-sensitive question-answering tasks that DySK-Attn significantly outperforms strong baselines, including standard Retrieval-Augmented Generation (RAG) and model editing techniques, in both factual accuracy for updated knowledge and computational efficiency. Our framework offers a scalable and effective solution for building LLMs that can stay current with the ever-changing world.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、その知識が静的で、すぐに時代遅れになるという限界に悩まされる。
これらの膨大なモデルをリトレーニングすることは、計算的に禁止されるが、既存の知識編集技術は遅く、予期せぬ副作用をもたらす可能性がある。
そこで我々は,LLMが動的外部ソースからリアルタイム知識を効率的に統合できる新しいフレームワークであるDySK-Attnを提案する。
本手法は,リアルタイムに更新可能な動的知識グラフ(KG)を用いてLCMをシナジする。
我々のフレームワークの中核は、粗い知識の注意機構であり、LLMは粗い粒度の探索を行い、膨大なKGから得られる、非常に関連性の高い事実の小さなサブセットを効率的に識別し、焦点を合わせることができる。
このメカニズムは、知識ベース全体に対する高密度な注意の計算コストを回避し、無関係な情報からノイズを軽減します。
我々は,DySK-Attnが標準検索・拡張生成(RAG)やモデル編集技術など,強いベースラインを著しく上回り,知識の更新と計算効率の両面において,時間に敏感な質問応答タスクに関する広範な実験を行った。
当社のフレームワークは、常に変化する世界と現在の状態を維持するLLMを構築するための、スケーラブルで効果的なソリューションを提供します。
関連論文リスト
- Massive Editing for Large Language Models Based on Dynamic Weight Generation [51.34392079812964]
本稿では,動的重み生成(MeG)に基づく大規模言語モデル(LLM)の大量編集手法を提案する。
我々のMeGは信頼性,一般性,局所性といった指標を用いて,大規模知識編集の性能を大幅に向上させることができる。
論文 参考訳（メタデータ） (2025-12-16T13:32:55Z) - Improving Factuality in LLMs via Inference-Time Knowledge Graph Construction [30.381290814338413]
大規模言語モデル(LLM)は、パラメトリックメモリに制限があるため、現実的に一貫した答えを生み出すのにしばしば苦労する。
推論中に知識グラフ(KG)を動的に構築・拡張する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-31T16:36:40Z) - Continuously Steering LLMs Sensitivity to Contextual Knowledge with Proxy Models [33.022457807599075]
CSKS(Continuously Steering Knowledge Sensitivity)は、大規模言語モデルの文脈的知識に対する感受性を、軽量で継続的に評価するフレームワークである。
本研究では,LLMの文脈的知識に対する感度を連続的かつ高精度に制御し,感度の向上と感度の低減を実現していることを示す。
論文 参考訳（メタデータ） (2025-08-27T09:30:24Z) - TRAIL: Joint Inference and Refinement of Knowledge Graphs with Large Language Models [5.678291291711662]
TRAILは思考、推論、インクリメンタルラーニングのための、新しく統合されたフレームワークである。
共同推論と動的KG精製を大きな言語モデルと組み合わせる。
複数のベンチマークでの大規模な実験により、TRAILは既存のKG拡張および検索拡張LDMベースラインを3%から13%上回った。
論文 参考訳（メタデータ） (2025-08-06T14:25:05Z) - Efficient Tuning of Large Language Models for Knowledge-Grounded Dialogue Generation [21.52726424882653]
KEDiTは、知識基底対話生成のための大規模言語モデルを微調整する効率的な方法である。
まず、検索した知識を学習可能なパラメータに圧縮するために情報ボトルネックを使用し、計算オーバーヘッドを最小限に抑えながら重要な情報を保持する。
ウィキペディアのウィザードと新しく構築されたPubMed-Dialogデータセットの実験結果は、KEDiTが文脈的に関連があり、情報的な応答を生成するのに優れていることを示している。
論文 参考訳（メタデータ） (2025-04-10T13:54:36Z) - KBM: Delineating Knowledge Boundary for Adaptive Retrieval in Large Language Models [69.99274367773997]
大規模言語モデル(LLM)は知識を動的に変化させ、未知の静的情報を扱うのにしばしば苦労する。
Retrieval-Augmented Generation (RAG) はこれらの課題に対処するために使われ、LLMの性能向上に大きな影響を与えている。
本稿では,ある質問の既知/未知を表現し,RAGを起動する必要があるかどうかを判断するための知識境界モデル(KBM)を提案する。
論文 参考訳（メタデータ） (2024-11-09T15:12:28Z) - Bridging LLMs and KGs without Fine-Tuning: Intermediate Probing Meets Subgraph-Aware Entity Descriptions [49.36683223327633]
大規模言語モデル(LLM)は、幅広い世界の知識をカプセル化し、強力なコンテキストモデリング能力を示す。
実効的で効率的なKGCを実現するために,LLMの強みを頑健な知識表現と相乗化するための新しいフレームワークを提案する。
従来手法に比べて47%の相対的な改善を達成し,我々の知る限り,ファインチューニング LLM に匹敵する分類性能を初めて達成した。
論文 参考訳（メタデータ） (2024-08-13T10:15:55Z) - Large Language Models-guided Dynamic Adaptation for Temporal Knowledge Graph Reasoning [87.10396098919013]
大規模言語モデル (LLM) は、時間的推論において広範な知識と卓越した能力を示した。
本稿では,時間的知識グラフに基づく推論のためのLarge Language Models-Guided Dynamic Adaptation (LLM-DA)法を提案する。
LLM-DAは、歴史的データを解析し、時間的論理規則を抽出するLLMの機能を利用する。
論文 参考訳（メタデータ） (2024-05-23T04:54:37Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳（メタデータ） (2024-01-02T16:54:58Z) - Thrust: Adaptively Propels Large Language Models with External Knowledge [69.50273822565363]
大規模事前学習言語モデル(PTLM)は、モデルパラメータの豊富な知識を符号化する。
PTLMの固有の知識は不透明または静的であり、外部の知識を必要とする。
本稿では,外部知識のインスタンスレベル適応推進(IAPEK)を提案する。
論文 参考訳（メタデータ） (2023-07-19T20:16:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。