論文の概要: How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?

• arxiv url: http://arxiv.org/abs/2502.14502v1
• Date: Thu, 20 Feb 2025 12:31:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:28:00.895450
• Title: How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?
• Title（参考訳）: LLMを使わずにLoRAアダプタにどのくらいの知識を詰め込めるか?
• Authors: Sergey Pletenev, Maria Marina, Daniil Moskovskiy, Vasily Konovalov, Pavel Braslavski, Alexander Panchenko, Mikhail Salnikov,
• Abstract要約: ローランク適応(ローランク適応、LoRA)は、大規模言語モデルの更新やドメイン固有適応のための一般的かつ効率的な訓練手法である。 これまでに学習した知識を損なうことなく, LoRA を用いて LLM に新たな事実を組み込む方法について検討した。
• 参考スコア（独自算出の注目度）: 55.33467849079774
• License:
• Abstract: The performance of Large Language Models (LLMs) on many tasks is greatly limited by the knowledge learned during pre-training and stored in the model's parameters. Low-rank adaptation (LoRA) is a popular and efficient training technique for updating or domain-specific adaptation of LLMs. In this study, we investigate how new facts can be incorporated into the LLM using LoRA without compromising the previously learned knowledge. We fine-tuned Llama-3.1-8B-instruct using LoRA with varying amounts of new knowledge. Our experiments have shown that the best results are obtained when the training data contains a mixture of known and new facts. However, this approach is still potentially harmful because the model's performance on external question-answering benchmarks declines after such fine-tuning. When the training data is biased towards certain entities, the model tends to regress to few overrepresented answers. In addition, we found that the model becomes more confident and refuses to provide an answer in only few cases. These findings highlight the potential pitfalls of LoRA-based LLM updates and underscore the importance of training data composition and tuning parameters to balance new knowledge integration and general model capabilities.
• Abstract（参考訳）: 多くのタスクにおけるLarge Language Models (LLM)のパフォーマンスは、事前学習中に学習し、モデルのパラメータに格納された知識によって大幅に制限される。 ローランク適応(ローランク適応、LoRA)は、LLMの更新またはドメイン固有の適応のための一般的かつ効率的な訓練手法である。 本研究では,従来の知識を損なうことなく,LoRAを用いてLLMに新たな事実を組み込む方法について検討した。 我々はLoRAを用いたLlama-3.1-8Bインストラクションを様々な知識で微調整した。 実験の結果、トレーニングデータに既知の事実と新しい事実が混在している場合、最良の結果が得られることがわかった。 しかし、このような微調整後、外部質問応答ベンチマークにおけるモデルの性能が低下するため、このアプローチは依然として潜在的に有害である。 トレーニングデータが特定のエンティティに偏っている場合、モデルは過度に表現された回答に回帰する傾向があります。 さらに、モデルがより自信を持ち、少数のケースで回答を拒むことがわかりました。 これらの知見は、LoRAベースのLLM更新の潜在的な落とし穴を浮き彫りにして、新しい知識統合と一般的なモデル能力のバランスをとるために、データ構成とチューニングパラメータをトレーニングすることの重要性を強調している。

関連論文リスト

• Dynamic Uncertainty Ranking: Enhancing Retrieval-Augmented In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• Learning on LoRAs: GL-Equivariant Processing of Low-Rank Weight Spaces for Large Finetuned Models [38.197552424549514]
  低ランク適応(LoRA)は、大規模な基礎モデルの微調整に革命をもたらした。 LoRAは、これらの低ランクウェイトを入力として利用する機械学習技術を適用する機会を提供する。 本稿では,LoRA重みが機械学習モデルへの入力として機能するパラダイムであるLoRA(Learning on LoRAs)の可能性を検討する。
  論文  参考訳（メタデータ） (2024-10-05T15:52:47Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• Investigating Automatic Scoring and Feedback using Large Language Models [46.1232919707345]
  本稿では,PEFTに基づく量子化モデルの有効性について検討する。 その結果, 微調整LDMによる評価は精度が高く, 平均的に3%未満の誤差が得られた。
  論文  参考訳（メタデータ） (2024-05-01T16:13:54Z)
• Harnessing Large Language Models as Post-hoc Correctors [6.288056740658763]
  任意の機械学習モデルの予測に対する修正を提案するために,LLMがポストホックな修正器として機能することを示す。 我々は、データセットのラベル情報と、検証データセット上のMLモデルの予測を組み込むことで、文脈知識データベースを構築する。 テキスト解析と分子予測に関する実験結果から, モデルの性能が最大39%向上することが示唆された。
  論文  参考訳（メタデータ） (2024-02-20T22:50:41Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• A Closer Look at the Limitations of Instruction Tuning [52.587607091917214]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)における知識やスキルの向上に失敗することを示す。 また、一般的なIT改善手法は、シンプルなLoRA微調整モデルよりも性能改善につながるものではないことも示している。 この結果から,事前学習した知識のみから生成した応答は,オープンソースデータセット上でITから新たな知識を学習するモデルによって,一貫した応答性能が向上することが判明した。
  論文  参考訳（メタデータ） (2024-02-03T04:45:25Z)
• Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs [0.5461938536945721]
  大規模言語モデル(LLM)は、事前訓練された重みの中に大量の事実情報をカプセル化する。 この知識は本質的に限られたものであり、トレーニングデータの特徴に大きく依存している。 教師なし微調整と検索拡張生成の2つの一般的なアプローチを比較した。
  論文  参考訳（メタデータ） (2023-12-10T16:52:00Z)
• Forgetting before Learning: Utilizing Parametric Arithmetic for Knowledge Updating in Large Language Models [53.52344131257681]
  本稿では,F-Learningと呼ばれるファインチューニングのための新しいパラダイムを提案する。これはパラメトリック算術を用いて,古い知識の忘れと新しい知識の学習を容易にする。 2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
  論文  参考訳（メタデータ） (2023-11-14T09:12:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。