論文の概要: Minimal Ranks, Maximum Confidence: Parameter-efficient Uncertainty Quantification for LoRA

• arxiv url: http://arxiv.org/abs/2502.12122v1
• Date: Mon, 17 Feb 2025 18:46:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:09:36.584439
• Title: Minimal Ranks, Maximum Confidence: Parameter-efficient Uncertainty Quantification for LoRA
• Title（参考訳）: 最小ランク, 最大信頼度: LoRA のパラメータ効率不確実性定量化
• Authors: Patryk Marszałek, Klaudia Bałazy, Jacek Tabor, Tomasz Kuśmierczyk,
• Abstract要約: Low-Rank Adaptation (LoRA)は、重み更新を低ランク行列に分解することで、大きな言語モデルのパラメータ効率の良い微調整を可能にする。 超低次元パラメータ空間において有効な不確実性定量化が達成可能であることを示す新しいパラメータ効率のベイズロラを提案する。
• 参考スコア（独自算出の注目度）: 7.6400146954285315
• License:
• Abstract: Low-Rank Adaptation (LoRA) enables parameter-efficient fine-tuning of large language models by decomposing weight updates into low-rank matrices, significantly reducing storage and computational overhead. While effective, standard LoRA lacks mechanisms for uncertainty quantification, leading to overconfident and poorly calibrated models. Bayesian variants of LoRA address this limitation, but at the cost of a significantly increased number of trainable parameters, partially offsetting the original efficiency gains. Additionally, these models are harder to train and may suffer from unstable convergence. In this work, we propose a novel parameter-efficient Bayesian LoRA, demonstrating that effective uncertainty quantification can be achieved in very low-dimensional parameter spaces. The proposed method achieves strong performance with improved calibration and generalization while maintaining computational efficiency. Our empirical findings show that, with the appropriate projection of the weight space: (1) uncertainty can be effectively modeled in a low-dimensional space, and (2) weight covariances exhibit low ranks.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、低ランク行列への重み更新を分解することで、パラメータ効率の良い大規模言語モデルの微調整を可能にし、ストレージと計算オーバーヘッドを大幅に削減する。 有効ではあるが、標準のLoRAは不確実性の定量化のメカニズムが欠如しており、過度に自信を持ち、校正が不十分なモデルに繋がる。 LoRAのベイズ変種は、この制限に対処するが、トレーニング可能なパラメータの数が大幅に増加し、元の効率向上を部分的に相殺する。 さらに、これらのモデルは訓練が難しく、不安定な収束に悩まされる可能性がある。 本研究では,非常に低次元のパラメータ空間において有効不確実性定量化が達成可能であることを示す,新しいパラメータ効率のベイズロラを提案する。 提案手法は,計算効率を保ちながらキャリブレーションと一般化を改善し,高い性能を実現する。 その結果,(1)不確実性は低次元空間で効果的にモデル化でき,(2)重み共分散は低位を示すことがわかった。

関連論文リスト

• Robust and Efficient Fine-tuning of LLMs with Bayesian Reparameterization of Low-Rank Adaptation [17.84857303452691]
  大規模言語モデル(LLM)は、その巨大なサイズのため、リソース集約性が高いため、微調整が可能である。 本稿では,評価器の分散を低減し,最終的なモデル出力の安定性を高めるために,低ランク微調整における効果的なパラメータ化の重要性を強調した。 提案手法はモンテカルロ推定法を用いて,低次パラメータの非バイアス後推定を低次分散で学習する手法である。
  論文  参考訳（メタデータ） (2024-11-07T01:31:48Z)
• IntLoRA: Integral Low-rank Adaptation of Quantized Diffusion Models [68.55148272295916]
  IntLoRAを提案し、整数型(INT)低ランクパラメータを用いて効率限界を押し上げ、量子化拡散モデルに適応させる。 IntLoRAには3つの大きな利点がある: (i) 微調整の場合、事前トレーニングされた重みは量子化され、メモリ使用量が減少する (ii) ストレージの場合、事前トレーニングされた重みと低ランクの重みの両方が、ディスクスペースを少なく消費するINT内にある; (iii) 推論の場合、IntLoRA重みは、効率的な整数乗算やビットシフトによって自然に量子化された事前トレーニングされた重みにマージできる。
  論文  参考訳（メタデータ） (2024-10-29T05:50:17Z)
• Controlled Low-Rank Adaptation with Subspace Regularization for Continued Training on Large Language Models [13.56631686493347]
  大規模言語モデル(LLM)は、自然言語処理において顕著な能力を示すが、新しいタスクを学ぶ際に破滅的な忘れに直面している。 本稿では,LoRA 構造上の部分空間正規化手法である Controlled LoRA (CLoRA) を提案する。
  論文  参考訳（メタデータ） (2024-10-22T08:27:23Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• NEAT: Nonlinear Parameter-efficient Adaptation of Pre-trained Models [26.808251361020066]
  微調整された事前訓練されたモデルは、リソース集約的で厳しい。 広く採用されているPEFT技術であるLoRA(Lo-Rank Adaptation)は、事前訓練されたモデルの重量を凍結する。 NEATは、トレーニング済みの重みを入力として取り込んだ軽量ニューラルネットワークを導入し、近似累積重み更新のための非線形変換を学習する。
  論文  参考訳（メタデータ） (2024-10-02T17:29:23Z)
• Flat-LoRA: Low-Rank Adaption over a Flat Loss Landscape [52.98187034726091]
  Low-Rank Adaptation (LoRA) は低ランク行列のみを最適化することでモデルを微調整する効率的な方法である。 ロラ空間に平坦に見える解は、全パラメータ空間に鋭い方向が存在し、一般化性能を損なう可能性がある。 フルパラメータ空間の平坦領域に位置する低ランク適応を求める効率的なアプローチであるFlat-LoRAを提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• LoRA Meets Dropout under a Unified Framework [38.5176197615878]
  大規模言語モデル(LLM)は、多くのNLPアプリケーションにおいて重要な要素として現れている。 様々なドロップアウト手法は、当初は全てのパラメータを更新した完全な微調整のために設計されていたが、過剰なパラメータ冗長性に関連する過度な適合を緩和した。 我々は,これらの手法を,落下位置,構造パターン,補償基準に基づいてインスタンス化する総合的な調査のための統一的な枠組みを導入する。
  論文  参考訳（メタデータ） (2024-02-25T07:09:10Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。