論文の概要: BaLoRA: Bayesian Low-Rank Adaptation of Large Scale Models

• arxiv url: http://arxiv.org/abs/2605.08110v1
• Date: Mon, 27 Apr 2026 18:19:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 12:34:33.702495
• Title: BaLoRA: Bayesian Low-Rank Adaptation of Large Scale Models
• Title（参考訳）: BaLoRA:大規模モデルのベイジアン低ランク適応
• Authors: Dario Coscia, Sindy Löwe, Max Welling,
• Abstract要約: Low-Rank Adaptation (LoRA) は計算コストを削減した大規模事前学習モデルの標準となっている。 BaLoRAは、訓練されたLoRAモデルのアンサンブルよりもモデルエラーと強く相関するゼロショットテスト時間不確実性推定を生成する。
• 参考スコア（独自算出の注目度）: 28.056597124418104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) has become the standard for fine-tuning large pre-trained models at reduced computational cost. However, its low-rank point-estimate updates limit expressiveness, leave a persistent gap relative to full fine-tuning accuracy, and provide no built-in uncertainty quantification, limiting its applicability in settings where reliability matters as much as accuracy. We introduce BaLoRA, a Bayesian extension of LoRA with a novel input-adaptive Bayesian parameterization of LoRA matrices that adds minimal parameters and compute. Surprisingly, not only does the Bayesian extension yield well-calibrated uncertainty estimates, but the adaptive noise injection underlying our approach also significantly improves prediction accuracy, narrowing the gap with full fine-tuning across both natural language reasoning and vision tasks. When applied to band gap prediction in metal-organic frameworks, BaLoRA produces zero-shot test-time uncertainty estimates that correlate more strongly with model error than a trained ensemble of LoRA models, and improve monotonically with compute without sacrificing accuracy.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は計算コストを削減した大規模事前学習モデルの標準となっている。 しかし、その低ランクのポイント推定更新は表現性を制限し、完全な微調整精度に対して永続的なギャップを残し、信頼性ができるだけ正確であるような設定で適用性を制限するような、組み込まれていない不確実性定量化を提供する。 我々はLoRAのベイズ拡張であるBaLoRAを紹介し、最小パラメータと計算量を加えたLoRA行列の入力適応ベイズパラメータ化を新たに導入する。 ベイズ拡張は、よく校正された不確実性推定をもたらすだけでなく、我々のアプローチに基づく適応ノイズ注入は予測精度を著しく改善し、自然言語の推論と視覚タスクをまたいだ完全な微調整によるギャップを狭める。 金属-有機系のバンドギャップ予測に適用した場合、BaLoRAは、LoRAモデルの訓練されたアンサンブルよりもモデルエラーと強く相関するゼロショットテスト時間不確実性推定を生成し、精度を犠牲にすることなく計算と単調に改善する。

関連論文リスト

• Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
  本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。 我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。 この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-03-31T14:46:39Z)
• Bayesian-LoRA: Probabilistic Low-Rank Adaptation of Large Language Models [5.653755499165773]
  本稿では,Sparse Gaussian Processesにインスパイアされた確率的低ランク表現として,決定論的LoRA更新を再構成するBayesian-LoRAを紹介する。 約0.42Mの追加パラメータと$approx1.2timesのトレーニングコストを標準のLoRAと比較すると、Bayesian-LoRAは最大30Bまでのモデルのキャリブレーションを大幅に改善した。
  論文  参考訳（メタデータ） (2026-01-28T19:54:31Z)
• C-LoRA: Contextual Low-Rank Adaptation for Uncertainty Estimation in Large Language Models [19.55798373491983]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するためのコスト効率の良いソリューションを提供する。 LoRAは、データスカースな数ショット設定で過信な予測を生成する。 本稿では,新しい不確実性を認識し,パラメータを効率的に調整する手法として,コンテキスト低ランク適応(C-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T11:44:02Z)
• Minimal Ranks, Maximum Confidence: Parameter-efficient Uncertainty Quantification for LoRA [9.114051379014429]
  Low-Rank Adaptation (LoRA)は、重み更新を低ランク行列に分解することで、大きな言語モデルのパラメータ効率の良い微調整を可能にする。 LoRAは不確実性の定量化のメカニズムが欠如しており、過度に自信を持ち、校正が不十分なモデルに繋がる。 超低次元パラメータ空間において有効不確実性定量化が達成可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-17T18:46:29Z)
• LoRA vs Full Fine-tuning: An Illusion of Equivalence [73.5303340531806]
  我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。 特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。 我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
  論文  参考訳（メタデータ） (2024-10-28T17:14:01Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。