論文の概要: DIEKAE: Difference Injection for Efficient Knowledge Augmentation and Editing of Large Language Models

• arxiv url: http://arxiv.org/abs/2406.10660v1
• Date: Sat, 15 Jun 2024 14:57:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 23:23:59.277916
• Title: DIEKAE: Difference Injection for Efficient Knowledge Augmentation and Editing of Large Language Models
• Title（参考訳）: DIEKAE:大規模言語モデルの効率的な知識向上と編集のための差分注入
• Authors: Alessio Galatolo, Meriem Beloucif, Katie Winkle,
• Abstract要約: 効率的な知識向上・編集のための差分注入法(DIEKAE)について紹介する。 PLMによるバックプロパゲーションを必要としないエンコーダのための新しいトレーニング手法を提案する。 本研究は,学習と推論の双方において,知識向上と編集の複数のベースラインと比較して,我々の手法がより速く,より効率的であることを示すものである。
• 参考スコア（独自算出の注目度）: 0.39684397182496267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained Language Models (PLMs) store extensive knowledge within their weights, enabling them to recall vast amount of information. However, relying on this parametric knowledge brings some limitations such as outdated information or gaps in the training data. This work addresses these problems by distinguish between two separate solutions: knowledge editing and knowledge augmentation. We introduce Difference Injection for Efficient Knowledge Augmentation and Editing (DIEK\AE), a new method that decouples knowledge processing from the PLM (LLaMA2-7B, in particular) by adopting a series of encoders. These encoders handle external knowledge and inject it into the PLM layers, significantly reducing computational costs and improving performance of the PLM. We propose a novel training technique for these encoders that does not require back-propagation through the PLM, thus greatly reducing the memory and time required to train them. Our findings demonstrate how our method is faster and more efficient compared to multiple baselines in knowledge augmentation and editing during both training and inference. We have released our code and data at https://github.com/alessioGalatolo/DIEKAE.
• Abstract（参考訳）: 事前訓練された言語モデル(PLM)は、その重みの中に豊富な知識を格納し、膨大な量の情報を記憶することができる。 しかし、このパラメトリック知識に依存すると、古い情報やトレーニングデータのギャップといった制限が生じる。 この研究は、知識編集と知識増強という2つの異なる解を区別することで、これらの問題に対処する。 本稿では,PLM (LLaMA2-7B) から知識処理を分離する新しい手法であるDIEK\AE(DIEK\AE)を提案する。 これらのエンコーダは外部知識を処理し、PLM層に注入し、計算コストを大幅に削減し、PLMの性能を向上させる。 本研究では,これらのエンコーダに対して,PLMによるバックプロパゲーションを必要としない新たなトレーニング手法を提案する。 本研究は,学習と推論の双方において,知識向上と編集の複数のベースラインと比較して,我々の手法がより速く,より効率的であることを示すものである。 コードとデータはhttps://github.com/alessioGalatolo/DIEKAEで公開しています。

関連論文リスト

• Time Sensitive Knowledge Editing through Efficient Finetuning [35.79991957163508]
  大きな言語モデル(LLM)は、様々なタスクにおいて印象的な能力を示し、多くのドメインに変革をもたらす。 LLMの知識を最新に保つことは、事前トレーニングが完了するまで、依然として課題である。 既存の位置と編集の知識編集(KE)手法には2つの制限がある。
  論文  参考訳（メタデータ） (2024-06-06T20:41:36Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [61.554209059971576]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著なオープンジェネレーション機能を示している。 新しい知識を注入すると、以前に獲得した知識を忘れるリスクが生じる。 Infuser-Guided Knowledge Integration フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:36:26Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
  差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。 鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。 PlugLMは4つのドメインで平均3.95のF1改善を実現している。
  論文  参考訳（メタデータ） (2023-05-19T10:01:55Z)
• The Web Can Be Your Oyster for Improving Large Language Models [98.72358969495835]
  大規模言語モデル(LLM)は、大量の世界の知識を符号化する。 我々はLLMを検索エンジンを用いて大規模ウェブで拡張することを検討する。 ウェブ上に拡張されたLLM UNIWEBを提案する。これは16の知識集約的なタスクに対して、統一されたテキスト・テキスト・フォーマットで訓練される。
  論文  参考訳（メタデータ） (2023-05-18T14:20:32Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• KILM: Knowledge Injection into Encoder-Decoder Language Models [26.44077668498835]
  大規模事前学習言語モデル(PLM)は、パラメータ内で暗黙の知識を保持することが示されている。 本稿では,エンティティ関連知識をエンコーダ・デコーダ PLM に注入する手法として,言語モデルへの知識注入(KILM)を提案する。 KILMは、一般的なNLUタスクやNLGタスクでの本来のパフォーマンスを維持しながら、モデルがより多くの知識を保持し、幻覚を少なくすることを可能にする。
  論文  参考訳（メタデータ） (2023-02-17T22:48:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。