論文の概要: InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration

• arxiv url: http://arxiv.org/abs/2402.11441v2
• Date: Mon, 16 Dec 2024 07:18:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:53:24.082561
• Title: InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration
• Title（参考訳）: InfuserKI:Infuser-Guided Knowledge Integrationによる知識グラフによる大規模言語モデルの強化
• Authors: Fali Wang, Runxue Bao, Suhang Wang, Wenchao Yu, Yanchi Liu, Wei Cheng, Haifeng Chen,
• Abstract要約: 知識を統合する手法が開発され、外部モジュールを通してLLMをドメイン固有の知識グラフに拡張した。 本研究は,未知の知識をLLMに効率的に統合することで,未知の知識を不要に重複させるという,新たな問題に焦点をあてる。 新しい知識を導入するリスクは、既存の知識を忘れることである。
• 参考スコア（独自算出の注目度）: 58.61492157691623
• License:
• Abstract: Large Language Models (LLMs) have achieved exceptional capabilities in open generation across various domains, yet they encounter difficulties with tasks that require intensive knowledge. To address these challenges, methods for integrating knowledge have been developed, which augment LLMs with domain-specific knowledge graphs through external modules. These approaches, however, face data inefficiency issues as they necessitate the processing of both known and unknown knowledge for fine-tuning. Thus, our research focuses on a novel problem: efficiently integrating unknown knowledge into LLMs without unnecessary overlap of known knowledge. A risk of introducing new knowledge is the potential forgetting of existing knowledge. To mitigate this risk, we propose the innovative {\method} framework. This framework employs transformer internal states to determine when to enrich LLM outputs with additional information, effectively preventing knowledge forgetting. Performance evaluations using the UMLS-2.5k and MetaQA domain knowledge graphs reveal that {\method} not only successfully integrates new knowledge but also outperforms state-of-the-art baselines, reducing knowledge forgetting by 9\% and 6\%, respectively.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域にわたるオープンジェネレーションにおいて例外的な能力を達成したが、集中的な知識を必要とするタスクでは困難に直面している。 これらの課題に対処するため、LLMを外部モジュールを通してドメイン固有の知識グラフに拡張する知識統合手法が開発されている。 しかし、これらのアプローチは、微調整のために既知の知識と未知の知識の両方の処理を必要とするため、データ非効率の問題に直面している。 そこで本研究では,未知の知識をLLMに効率的に統合することで,未知の知識を不要に重複させるという,新たな問題に焦点をあてる。 新しい知識を導入するリスクは、既存の知識を忘れることである。 このリスクを軽減するために、革新的なフレームワークを提案します。 このフレームワークはトランスフォーマー内部の状態を使用して、LLM出力をいつ追加情報で強化するかを判断し、知識の忘れを効果的に防止する。 UMLS-2.5k と MetaQA のドメイン知識グラフによる性能評価は、新しい知識の統合に成功しただけでなく、最先端のベースラインを上回り、知識の忘れを 9 % と 6 % に減らしたことを示している。

関連論文リスト

• Efficient Knowledge Infusion via KG-LLM Alignment [10.735490041033113]
  知識グラフ検索法は知識注入の効率的かつ効率的な手法であることが証明されている。 既存のアプローチでは、公開知識グラフとタスクの特定の領域との知識ミスマッチ、知識グラフを用いたLLMの情報コンプライアンスの貧弱な2つの主要な課題に直面している。 本稿では,知識グラフから情報を利用するLLMの能力を高めるための3段階のKG-LLMアライメント戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-06T04:55:55Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• Knowledge Card: Filling LLMs' Knowledge Gaps with Plug-in Specialized Language Models [46.079902719883414]
  我々は,新しい事実と関連する知識を汎用言語モデルにプラグインするモジュール型フレームワークであるKnowledge Cardを提案する。 まず、特定のドメインやソースからコーパスで訓練された特殊な言語モデルであるナレッジカードを紹介します。 次に,知識カードが生成した文書中の情報を動的に選択・保持する3つのコンテンツセレクタを提案する。
  論文  参考訳（メタデータ） (2023-05-17T05:25:27Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)
• Kformer: Knowledge Injection in Transformer Feed-Forward Layers [107.71576133833148]
  そこで我々は,Transformerのフィードフォワード層を通じて外部知識を組み込んだ新しい知識融合モデルKformerを提案する。 FFNに単に知識を注入するだけで、事前学習された言語モデルの能力が向上し、現在の知識融合法が促進されることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-01-15T03:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。