論文の概要: How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?

• arxiv url: http://arxiv.org/abs/2502.14502v2
• Date: Tue, 25 Feb 2025 10:37:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 11:59:12.191872
• Title: How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?
• Title（参考訳）: LLMを使わずにLoRAアダプタにどのくらいの知識を詰め込めるか?
• Authors: Sergey Pletenev, Maria Marina, Daniil Moskovskiy, Vasily Konovalov, Pavel Braslavski, Alexander Panchenko, Mikhail Salnikov,
• Abstract要約: ローランク適応(ローランク適応、LoRA)は、大規模言語モデルの更新やドメイン固有適応のための一般的かつ効率的な訓練手法である。 これまでに学習した知識を損なうことなく, LoRA を用いて LLM に新たな事実を組み込む方法について検討した。
• 参考スコア（独自算出の注目度）: 55.33467849079774
• License:
• Abstract: The performance of Large Language Models (LLMs) on many tasks is greatly limited by the knowledge learned during pre-training and stored in the model's parameters. Low-rank adaptation (LoRA) is a popular and efficient training technique for updating or domain-specific adaptation of LLMs. In this study, we investigate how new facts can be incorporated into the LLM using LoRA without compromising the previously learned knowledge. We fine-tuned Llama-3.1-8B-instruct using LoRA with varying amounts of new knowledge. Our experiments have shown that the best results are obtained when the training data contains a mixture of known and new facts. However, this approach is still potentially harmful because the model's performance on external question-answering benchmarks declines after such fine-tuning. When the training data is biased towards certain entities, the model tends to regress to few overrepresented answers. In addition, we found that the model becomes more confident and refuses to provide an answer in only few cases. These findings highlight the potential pitfalls of LoRA-based LLM updates and underscore the importance of training data composition and tuning parameters to balance new knowledge integration and general model capabilities.
• Abstract（参考訳）: 多くのタスクにおけるLarge Language Models (LLM)のパフォーマンスは、事前学習中に学習し、モデルのパラメータに格納された知識によって大幅に制限される。 ローランク適応(ローランク適応、LoRA)は、LLMの更新またはドメイン固有の適応のための一般的かつ効率的な訓練手法である。 本研究では,従来の知識を損なうことなく,LoRAを用いてLLMに新たな事実を組み込む方法について検討した。 我々はLoRAを用いたLlama-3.1-8Bインストラクションを様々な知識で微調整した。 実験の結果、トレーニングデータに既知の事実と新しい事実が混在している場合、最良の結果が得られることがわかった。 しかし、このような微調整後、外部質問応答ベンチマークにおけるモデルの性能が低下するため、このアプローチは依然として潜在的に有害である。 トレーニングデータが特定のエンティティに偏っている場合、モデルは過度に表現された回答に回帰する傾向があります。 さらに、モデルがより自信を持ち、少数のケースで回答を拒むことがわかりました。 これらの知見は、LoRAベースのLLM更新の潜在的な落とし穴を浮き彫りにして、新しい知識統合と一般的なモデル能力のバランスをとるために、データ構成とチューニングパラメータをトレーニングすることの重要性を強調している。

関連論文リスト

• Post-training an LLM for RAG? Train on Self-Generated Demonstrations [18.8726880078299]
  大規模言語モデル(LLM)は知識集約型NLPタスクとしばしば競合する。 検索拡張生成(RAG)は、モデルがコンテキスト内情報を利用することを可能にする。 自己生成型実演を用いたRAG対応LDMの学習法を提案する。
  論文  参考訳（メタデータ） (2025-02-14T23:00:49Z)
• The Scaling Law for LoRA Base on Mutual Information Upper Bound [16.527968425791393]
  微調整では、モデル性能、モデルパラメータ、データ複雑性の法則がこの分野において問題となっている。 そこで我々は,Mutual Information Upper Bound (MIUB) 理論に基づく内部メトリクスを提案し,大規模モデルLORAファインタニングのスケーリング法則について検討する。 提案したMIUB測度は、クロスエントロピーやパープレキシティと比較して、ロラ微調整のスケーリング法則とより正確かつ安定に一致している。
  論文  参考訳（メタデータ） (2025-01-06T17:19:19Z)
• DESIRE: Dynamic Knowledge Consolidation for Rehearsal-Free Continual Learning [23.878495627964146]
  連続学習は、人間のような以前に学習された知識を保持する能力をモデルに装備することを目的としている。 既存の手法は通常、実験データが事前訓練されたモデルで使用されているという事実によって引き起こされる情報漏洩の問題を見落としている。 本稿では,ロラをベースとした新たなリハーサルフリー手法DESIREを提案する。
  論文  参考訳（メタデータ） (2024-11-28T13:54:01Z)
• Dynamic Uncertainty Ranking: Enhancing Retrieval-Augmented In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• Learning on LoRAs: GL-Equivariant Processing of Low-Rank Weight Spaces for Large Finetuned Models [38.197552424549514]
  低ランク適応(LoRA)は、大規模な基礎モデルの微調整に革命をもたらした。 LoRAは、これらの低ランクウェイトを入力として利用する機械学習技術を適用する機会を提供する。 本稿では,LoRA重みが機械学習モデルへの入力として機能するパラダイムであるLoRA(Learning on LoRAs)の可能性を検討する。
  論文  参考訳（メタデータ） (2024-10-05T15:52:47Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Forgetting before Learning: Utilizing Parametric Arithmetic for Knowledge Updating in Large Language Models [53.52344131257681]
  本稿では,F-Learningと呼ばれるファインチューニングのための新しいパラダイムを提案する。これはパラメトリック算術を用いて,古い知識の忘れと新しい知識の学習を容易にする。 2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
  論文  参考訳（メタデータ） (2023-11-14T09:12:40Z)
• An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning [70.48605869773814]
  カタストロフィック・ナッシング(英: Catastrophic forgetting、CF)は、機械学習において、モデルが以前に学習した情報を忘れたときに発生する現象である。 本研究では,大規模言語モデルにおける連続的調律時の忘れ現象を実験的に評価する。
  論文  参考訳（メタデータ） (2023-08-17T02:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。