Fugu-MT 論文翻訳(概要): BaRA: Bayesian Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning

論文の概要: BaRA: Bayesian Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning

arxiv url: http://arxiv.org/abs/2606.29184v1
Date: Sun, 28 Jun 2026 04:08:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:15.827964
Title: BaRA: Bayesian Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning
Title（参考訳）: BaRA:パラメータ効率の良いファインチューニングのためのベイズ適応ランクアロケーション
Abstract要約: 低ランク適応(LoRA)は、タスク固有の更新を固定された低ランク部分空間に制限することで、非常に効率的な微調整を可能にする。パラメータ効率の良い微調整のためのベイズ適応ランクアロケーションフレームワークであるBaRAを提案する。 BaRAは、非絡み合った潜在因子のスパースでコンテキスト依存のサブセットを活性化することで適応能力を動的に割り当てる。
参考スコア（独自算出の注目度）: 40.998095775740886
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While Low-rank adaptation (LoRA) enables highly efficient fine-tuning by constraining task-specific updates to fixed low-rank subspaces, this rigid design limits representational flexibility and often results in overconfident predictions and miscalibrated uncertainty, especially in low-data regimes. Recent Bayesian LoRA variants improve uncertainty estimation by modeling posterior distributions over adaptation parameters. However, these approaches typically rely on fixed or heuristically determined ranks, overlooking the inherently context-dependent nature of adaptation capacity. In this paper, we propose BaRA, a Bayesian Adaptive Rank Allocation framework for parameter-efficient fine-tuning. Drawing inspiration from probabilistic topic models, BaRA dynamically allocates adaptation capacity by activating a sparse, context-dependent subset of disentangled latent factors, enabling instance-wise variation in effective rank. This Bayesian formulation provides principled, data-driven capacity control, mitigating over-parameterization while preserving expressiveness. Beyond the modeling contribution, we provide a complexity-theoretic generalization analysis showing that the generalization gap of BaRA depends on the learned joint effective rank $\bar{s}_{Φ,θ}$ induced by the global-local gate, rather than the maximum rank $r$. This result explains why sparse adaptive rank allocation can reduce the effective hypothesis complexity while preserving input-dependent expressiveness. Extensive experiments on diverse natural language benchmarks demonstrate that BaRA consistently improves predictive performance, robustness, and uncertainty calibration compared to standard LoRA and existing Bayesian LoRA variants.
Abstract（参考訳）: 低ランク適応(LoRA)は、タスク固有の更新を固定された低ランク部分空間に制限することで、高効率な微調整を可能にするが、この厳密な設計は表現の柔軟性を制限し、しばしば過度に信頼された予測と、特に低データ体制において不確実性をもたらす。最近のベイジアンロラ変種は、適応パラメータよりも後続分布をモデル化することで不確実性推定を改善する。しかしながら、これらのアプローチは典型的には固定的あるいはヒューリスティックに決定されたランクに依存し、適応能力の本質的に文脈に依存した性質を見渡す。本稿では,パラメータ効率の良い微調整のためのベイズ適応ランクアロケーションフレームワークBaRAを提案する。確率論的トピックモデルからインスピレーションを得たBaRAは、非絡み合った潜在因子のスパースでコンテキスト依存のサブセットを活性化することにより、適応能力を動的に割り当てる。このベイズ的定式化は、データ駆動のキャパシティ制御を原則として提供し、表現性を保ちながら過パラメータ化を緩和する。モデリング貢献の他に、BaRAの一般化ギャップは、最大階数$r$ではなく、大域的局所ゲートによって誘導される学習された合同効力ランク$\bar{s}_{a,θ}$に依存することを示す複雑性理論の一般化解析を提供する。この結果は、入力依存表現性を保ちながら、スパース適応ランクアロケーションが効果的な仮説複雑性を減少させる理由を説明する。多様な自然言語ベンチマークに関する大規模な実験により、BaRAは標準のLoRAや既存のベイズ版のLoRAと比較して予測性能、堅牢性、不確実性の校正を一貫して改善していることが示された。

関連論文リスト

Statistical Inference for Rank Allocation in Low-Rank Adaptation [54.886931928255564]
低ランク適応 (LoRA) は大規模言語モデルにおいてパラメータ効率の高い微調整法として広く用いられている。統計的推論に基づくランクアロケーション手法であるStatLoRAを提案する。 StatLoRA は,Vanilla LoRA,AdaLoRA,I-LoRA と同等以上の性能を示す。
論文参考訳（メタデータ） (2026-07-22T14:25:59Z)
Bayesian Sparse Low-Rank Adaptation for Large Language Model Uncertainty Estimation [14.828620034157316]
大規模言語モデル(LLM)は顕著な推論能力を示すが、タスク固有の微調整は自信過剰に悩まされている。本研究では、高密度パラメータ空間から低ランク適応(LoRA)の軽量ランクレベルへの不確実性のパラダイムをシフトさせる、単純かつ効果的なベイズスパースフレームワークであるData-Adaptive Lower-Rank Adaptation (DALorRA)を提案する。 LoRAは、過剰なモデルのキャパシティを提供する可能性のある複数のランク1コンポーネントを集約するという考えから、DALorRAはランク次元にマスキングを課し、トレーニング中のモデルのキャパシティの正規化と推論時のアンサンブルのようなキャリブレーションを可能にする。
論文参考訳（メタデータ） (2026-07-02T13:52:12Z)
Joint Model and Data Sparsification via the Marginal Likelihood [53.29070892356214]
本稿では,個々の特徴とサンプルの相違点を同時学習し,同時にモデルとデータスペーシングを実現することを提案する。このモデルとデータの対称的なプルーニングは、共役を保存する自然な拡張を提供する。多様な回帰タスクにわたる経験的結果は、共同ARDアプローチがスパースモデルとロバスト予測モデルの両方を一貫して生成することを確認した。
論文参考訳（メタデータ） (2026-05-28T13:26:53Z)
BaLoRA: Bayesian Low-Rank Adaptation of Large Scale Models [28.056597124418104]
Low-Rank Adaptation (LoRA) は計算コストを削減した大規模事前学習モデルの標準となっている。 BaLoRAは、訓練されたLoRAモデルのアンサンブルよりもモデルエラーと強く相関するゼロショットテスト時間不確実性推定を生成する。
論文参考訳（メタデータ） (2026-04-27T18:19:31Z)
Scalable Variational Bayesian Fine-Tuning of LLMs via Orthogonalized Low-Rank Adapters [13.718993776070434]
不確実性定量化(UQ)は、大規模言語モデル(LLM)の信頼性を自己評価する上で最も重要である。我々は、LLMに基づく決定論的特徴抽出器に不確実性推論のためのランダムな最終層パラメータが続くベイズ最後の層(BLL)モデルを構築した。我々は変分(V)推論フレームワークを活用して、スケーラブルなベイズ微調整アプローチを提案する。
論文参考訳（メタデータ） (2026-04-03T18:42:04Z)
Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
論文参考訳（メタデータ） (2026-03-31T14:46:39Z)
IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring [9.250460219785188]
IGU-LoRAは、階層内統合勾配(IG)の感度を計算し、それらをランク割り当てのための階層レベルスコアに集約する適応ランクLoRAである。 IGU-LoRAは、一致したパラメータ予算でPEFTベースラインを一貫して上回り、下流の精度とロバスト性を改善している。
論文参考訳（メタデータ） (2026-03-14T06:45:54Z)
Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor [8.51407618718798]
プライバシ制約がフェデレーション学習(FL)を必要とする分散シナリオでは、ローランド適応(LoRA)の統合は不安定であることが多い。本稿では,アダプタランクとフェデレートアグリゲーションの相互作用を理論的に特徴付けるフレームワークである安定化フェデレートロラ(SFed-LoRA)を紹介する。 SFed-LoRAは高階崩壊を防止し,安定性を著しく向上し,より高速な収束を実現することを実証した。
論文参考訳（メタデータ） (2026-03-09T07:49:56Z)
High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
論文参考訳（メタデータ） (2026-01-12T13:06:17Z)
Norm-Bounded Low-Rank Adaptation [11.263496225606126]
パラメータ効率の良い微調整のためのノルム有界低ランク適応(NB-LoRA)を提案する。 NB-ロラ (NB-LoRA) は、適応行列の各特異値の明示的な境界を許容する低ランクな重み適応の新しいパラメータ化である。実験により,NB-LoRAは適応性能の小さなコストを伴わずにモデル忘れを回避できることが示された。
論文参考訳（メタデータ） (2025-01-31T11:24:57Z)
Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
論文参考訳（メタデータ） (2024-10-01T04:27:07Z)
Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。