論文の概要: Improving LoRA with Variational Learning

• arxiv url: http://arxiv.org/abs/2506.14280v1
• Date: Tue, 17 Jun 2025 07:49:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.383609
• Title: Improving LoRA with Variational Learning
• Title（参考訳）: 変分学習によるLoRAの改良
• Authors: Bai Cong, Nico Daheim, Yuesong Shen, Rio Yokota, Mohammad Emtiyaz Khan, Thomas Möllenhoff,
• Abstract要約: また,IVONを用いた変分学習がLoRAファインタニングを効果的に改善できることが示唆された。 数十億のLLM (Llama および Qwen 級数) について,IVON の既存応用の規模を超える広範な結果を示す。
• 参考スコア（独自算出の注目度）: 21.194015348736066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian methods have recently been used to improve LoRA finetuning and, although they improve calibration, their effect on other metrics (such as accuracy) is marginal and can sometimes even be detrimental. Moreover, Bayesian methods also increase computational overheads and require additional tricks for them to work well. Here, we fix these issues by using a recently proposed variational algorithm called IVON. We show that IVON is easy to implement and has similar costs to AdamW, and yet it can also drastically improve many metrics by using a simple posterior pruning technique. We present extensive results on billion-scale LLMs (Llama and Qwen series) going way beyond the scale of existing applications of IVON. For example, we finetune a Llama-3.2-3B model on a set of commonsense reasoning tasks and improve accuracy over AdamW by 1.3% and reduce ECE by 5.4%, outperforming AdamW and other recent Bayesian methods like Laplace-LoRA and BLoB. Overall, our results show that variational learning with IVON can effectively improve LoRA finetuning.
• Abstract（参考訳）: ベイズ法は、最近LoRAの微調整を改善するために使われており、校正を改善するが、他の指標(精度など)に対する効果は限界があり、時には有害であることもある。 さらに、ベイジアン法は計算オーバーヘッドを増大させ、それらがうまく機能するために追加のトリックを必要とする。 ここでは、最近提案された変分アルゴリズムであるIVONを用いて、これらの問題を解消する。 我々は,IVONの実装が容易で,AdamWと類似のコストを持つことを示した。 数十億のLLM (Llama および Qwen 級数) について,IVON の既存応用の規模を超える広範な結果を示す。 例えば、Llama-3.2-3Bモデルをコモンセンス推論タスクのセットで微調整し、AdamWの精度を1.3%改善し、ECEを5.4%削減し、Laplace-LoRAやBLoBといった最近のベイズ的手法よりも優れています。 以上の結果から,IVONを用いた変分学習がLoRAファインタニングを効果的に改善できることが示唆された。

関連論文リスト

• LoRA-Based Continual Learning with Constraints on Critical Parameter Changes [7.634417409656999]
  LoRAベースの連続学習は、下流の連続学習タスクで事前学習されたモデルを活用するための有望な道である。 本研究では,視力変換器(ViT)における最重要パラメータ行列の凍結について,事前タスクの学習に先立って提案する。 提案手法は,いくつかのよく知られた連続学習ベンチマークにおいて,最先端(SOTA)性能を実現することを示唆している。
  論文  参考訳（メタデータ） (2025-04-18T02:08:19Z)
• How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM? [55.33467849079774]
  ローランク適応(ローランク適応、LoRA)は、大規模言語モデルの更新やドメイン固有適応のための一般的かつ効率的な訓練手法である。 これまでに学習した知識を損なうことなく, LoRA を用いて LLM に新たな事実を組み込む方法について検討した。
  論文  参考訳（メタデータ） (2025-02-20T12:31:03Z)
• Variational Low-Rank Adaptation Using IVON [50.0349688602232]
  変動学習はローランド適応(LoRA)の精度と校正を著しく向上させることができることを示す。 我々はAdamWを改良変分オンラインニュートン(IVON)アルゴリズムで置き換え、大きな言語モデルを微調整する。
  論文  参考訳（メタデータ） (2024-11-07T04:17:30Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• LoRA-GA: Low-Rank Adaptation with Gradient Approximation [5.685201910521295]
  微調整された大規模事前訓練モデルは、計算とメモリコストの点で極めて高価である。 LoRAは、パラメータが著しく少ない補助的な低ランクモデルを微調整することで、コスト効率のよい代替手段を提供する。 LoRAは完全な微調整に比べてかなり遅い速度で収束し、全体的な計算能力が向上し、しばしばテスト性能が悪化する。
  論文  参考訳（メタデータ） (2024-07-06T08:37:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。