Fugu-MT 論文翻訳(概要): Bayesian Fine-tuning in Projected Subspaces

論文の概要: Bayesian Fine-tuning in Projected Subspaces

arxiv url: http://arxiv.org/abs/2605.07706v1
Date: Fri, 08 May 2026 13:14:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-11 19:43:39.063194
Title: Bayesian Fine-tuning in Projected Subspaces
Title（参考訳）: 射影部分空間におけるベイズ微調整
Authors: Viktar Dubovik, Patryk Marszałek, Jacek Tabor, Tomasz Kuśmierczyk,
Abstract要約: 低ランク適応(LoRA)は、重み更新を低ランク行列に分解することで、大きなモデルのパラメータ効率の良い微調整を可能にする。 LoRAは不確実性の定量化のメカニズムが欠如しており、過度に自信を持ち、校正が不十分なモデルに繋がる。パラメータ効率のよいベイズ微調整のための新しいフレームワークを提案し、非常に低次元のパラメータ空間において有効な不確実性定量化が達成できることを実証する。
参考スコア（独自算出の注目度）: 9.114051379014429
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Low-Rank Adaptation (LoRA) enables parameter-efficient fine-tuning of large models by decomposing weight updates into low-rank matrices, significantly reducing storage and computational overhead. While effective, standard LoRA lacks mechanisms for uncertainty quantification, leading to overconfident and poorly calibrated models. Bayesian variants of LoRA address this limitation, but at the cost of a significantly increased number of trainable parameters, partially offsetting the original efficiency gains. Additionally, these models are harder to train and may suffer from unstable convergence. In this work, we propose a novel framework for parameter-efficient Bayesian fine-tuning, demonstrating that effective uncertainty quantification can be achieved in very low-dimensional parameter spaces. The proposed method achieves strong performance with improved calibration and generalization while maintaining computational efficiency. Our empirical findings show that, with the appropriate projection of the weight space uncertainty can be effectively modeled in a low-dimensional space, and weight covariances exhibit low ranks.
Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、重み更新を低ランク行列に分解することで、大規模モデルのパラメータ効率の良い微調整を可能にし、ストレージと計算オーバーヘッドを大幅に削減する。有効ではあるが、標準のLoRAは不確実性の定量化のメカニズムが欠如しており、過度に自信を持ち、校正が不十分なモデルに繋がる。 LoRAのベイズ変種は、この制限に対処するが、トレーニング可能なパラメータの数が大幅に増加し、元の効率向上を部分的に相殺する。さらに、これらのモデルは訓練が難しく、不安定な収束に悩まされる可能性がある。本研究では,パラメータ効率のよいベイズ微調整のための新しい枠組みを提案し,非常に低次元のパラメータ空間において有効不確かさの定量化が達成できることを実証する。提案手法は,計算効率を保ちながらキャリブレーションと一般化を改善し,高い性能を実現する。実験により, 重み空間の不確かさを適切に予測することにより, 低次元空間で効果的にモデル化でき, 重み共分散は低いランクを示すことがわかった。

関連論文リスト

High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
論文参考訳（メタデータ） (2026-01-12T13:06:17Z)
Minimal Ranks, Maximum Confidence: Parameter-efficient Uncertainty Quantification for LoRA [9.114051379014429]
Low-Rank Adaptation (LoRA)は、重み更新を低ランク行列に分解することで、大きな言語モデルのパラメータ効率の良い微調整を可能にする。 LoRAは不確実性の定量化のメカニズムが欠如しており、過度に自信を持ち、校正が不十分なモデルに繋がる。超低次元パラメータ空間において有効不確実性定量化が達成可能であることを示す。
論文参考訳（メタデータ） (2025-02-17T18:46:29Z)
Robust and Efficient Fine-tuning of LLMs with Bayesian Reparameterization of Low-Rank Adaptation [17.649599011681712]
大規模言語モデル(LLM)は、その巨大なサイズのため、リソース集約性が高いため、微調整が可能である。本稿では,評価器の分散を低減し,最終的なモデル出力の安定性を高めるために,低ランク微調整における効果的なパラメータ化の重要性を強調した。モンテカルロ推定を応用して,低次パラメータの非バイアス後推定を低次分散で学習する,効率的な微調整手法であるモンテクロラを提案する。
論文参考訳（メタデータ） (2024-11-07T01:31:48Z)
IntLoRA: Integral Low-rank Adaptation of Quantized Diffusion Models [68.55148272295916]
IntLoRAは、整数型低ランクパラメータを持つ量子化拡散モデルを適用し、チューニング中に推論効率を含める。推論中、IntLoRA重みはPTQなしで直接量子化された下流重みを得るために、シームレスに事前訓練された重みにマージすることができる。
論文参考訳（メタデータ） (2024-10-29T05:50:17Z)
LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文参考訳（メタデータ） (2024-10-05T06:59:50Z)
Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
論文参考訳（メタデータ） (2024-09-22T11:24:10Z)
Bayesian Low-rank Adaptation for Large Language Models [28.86048553596652]
低ランク適応(LoRA)は、大規模言語モデル(LLM)のコスト効率の高い微調整のための新しいパラダイムとして登場した。本稿では,LoRAパラメータにベイズ的アプローチを適用するLaplace-LoRAを紹介する。
論文参考訳（メタデータ） (2023-08-24T23:06:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。