論文の概要: Forgetting before Learning: Utilizing Parametric Arithmetic for
Knowledge Updating in Large Language Models
- arxiv url: http://arxiv.org/abs/2311.08011v1
- Date: Tue, 14 Nov 2023 09:12:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 14:52:23.378241
- Title: Forgetting before Learning: Utilizing Parametric Arithmetic for
Knowledge Updating in Large Language Models
- Title(参考訳): 学習前の予測:大規模言語モデルにおける知識更新のためのパラメトリック算術の利用
- Authors: Shiwen Ni, Dingwei Chen, Chengming Li, Xiping Hu, Ruifeng Xu, Min Yang
- Abstract要約: 従来の知識の忘れと新しい知識の学習を実現するために,F-Learning(学習前の学習)と呼ばれるファインチューニングのための新しいパラダイムを提案する。
2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
- 参考スコア(独自算出の注目度): 53.52344131257681
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently Large Language Models (LLMs) have demonstrated their amazing text
understanding and generation capabilities. However, even stronger LLMs may
still learn incorrect knowledge from the training corpus, as well as some
knowledge that is outdated over time. Direct secondary fine-tuning with data
containing new knowledge may be ineffective in updating knowledge due to the
conflict between old and new knowledge. In this paper, we propose a new
paradigm for fine-tuning called F-Learning (Forgetting before Learning), which
is based on parametric arithmetic to achieve forgetting of old knowledge and
learning of new knowledge. Experimental results on two publicly available
datasets demonstrate that our proposed F-Learning can obviously improve the
knowledge updating performance of both full fine-tuning and LoRA fine-tuning.
Moreover, we have also discovered that forgetting old knowledge by subtracting
the parameters of LoRA can achieve a similar effect to subtracting the
parameters of full fine-tuning, and sometimes even surpass it significantly.
- Abstract(参考訳): 最近、LLM(Large Language Models)は、その驚くべきテキスト理解と生成能力を示しました。
しかし、さらに強力なLSMはトレーニングコーパスから誤った知識を学習し、時間とともに時代遅れになった知識を学習することができる。
新しい知識を含むデータによる直接二次的な微調整は、古い知識と新しい知識の衝突による知識の更新に効果がない可能性がある。
本稿では,古知識の忘れと新しい知識の学習を実現するためのパラメトリック算術に基づく,f-learning (forgeting before learning)と呼ばれる微調整のための新しいパラダイムを提案する。
2つの公開データセットにおける実験結果から,提案するf-learningは,完全微調整とlora微調整の両方の知識更新性能を明らかに向上できることが示された。
さらに,LoRAのパラメータを減じることによる古い知識の忘れは,完全な微調整のパラメータを減じることと同じような効果が得られ,時にはそれをはるかに上回ることもあることがわかった。
関連論文リスト
- Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations? [33.702498916775426]
既存の知識を活用するための微調整モデルの能力に及ぼす新しい知識の影響について検討する。
大規模な言語モデルは、微調整によって新しい事実知識を取得するのに苦労していることを実証する。
新たな知識のサンプルが最終的に学習されるにつれて、モデルが幻覚化する傾向がリニアに増加する。
論文 参考訳(メタデータ) (2024-05-09T17:00:22Z) - Injecting New Knowledge into Large Language Models via Supervised Fine-Tuning [13.371405067535814]
本稿では,Large Language Models(LLMs)における知識注入手法としてのスーパーバイザードファインタニング(SFT)の有効性について検討する。
さまざまなデータセット生成戦略 – トークンベースとファクトベースのスケーリング – を比較して,モデルが新たな情報を学ぶためのトレーニングデータを生成します。
その結果、ドメイン外知識に関連するQ&Aタスクのパフォーマンスが大幅に向上した。
論文 参考訳(メタデータ) (2024-03-30T01:56:07Z) - Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。
既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
論文 参考訳(メタデータ) (2024-03-26T06:57:23Z) - TRELM: Towards Robust and Efficient Pre-training for Knowledge-Enhanced Language Models [31.209774088374374]
本稿では,知識強化言語モデルのためのロバストかつ効率的な事前学習フレームワークであるTRELMを紹介する。
我々は、知識を3倍に注入するための堅牢なアプローチと、価値ある情報を取得するための知識強化されたメモリバンクを採用しています。
我々は,TRELMが事前学習時間を少なくとも50%削減し,知識探索タスクや複数の知識認識言語理解タスクにおいて,他のKEPLMよりも優れていることを示す。
論文 参考訳(メタデータ) (2024-03-17T13:04:35Z) - InfuserKI: Enhancing Large Language Models with Knowledge Graphs via
Infuser-Guided Knowledge Integration [61.554209059971576]
大規模言語モデル(LLM)は、様々な領域にまたがる顕著なオープンジェネレーション機能を示している。
新しい知識を注入すると、以前に獲得した知識を忘れるリスクが生じる。
Infuser-Guided Knowledge Integration フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-18T03:36:26Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - The Web Can Be Your Oyster for Improving Large Language Models [98.72358969495835]
大規模言語モデル(LLM)は、大量の世界の知識を符号化する。
我々はLLMを検索エンジンを用いて大規模ウェブで拡張することを検討する。
ウェブ上に拡張されたLLM UNIWEBを提案する。これは16の知識集約的なタスクに対して、統一されたテキスト・テキスト・フォーマットで訓練される。
論文 参考訳(メタデータ) (2023-05-18T14:20:32Z) - Adaptively Integrated Knowledge Distillation and Prediction Uncertainty
for Continual Learning [71.43841235954453]
現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。
この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
論文 参考訳(メタデータ) (2023-01-18T05:36:06Z) - Unsupervised Pre-training with Structured Knowledge for Improving
Natural Language Inference [22.648536283569747]
本研究では,事前学習モデルの異なるコンポーネントにおける構造化知識を活用するモデルを提案する。
以上の結果から,提案モデルは従来のBERTモデルよりも優れた性能を示した。
論文 参考訳(メタデータ) (2021-09-08T21:28:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。