論文の概要: Low-rank variational dropout: Uncertainty and rank selection in adapters

• arxiv url: http://arxiv.org/abs/2506.22809v2
• Date: Mon, 15 Sep 2025 11:21:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 15:23:16.246681
• Title: Low-rank variational dropout: Uncertainty and rank selection in adapters
• Title（参考訳）: 低ランク変分ドロップアウト:アダプタの不確かさとランク選択
• Abstract要約: BayesLoRA は LoRA の設定における変分ドロップアウトを再検討し、自然の単位は個々の重みではなく、アダプタの全ランクであることを示した。 BayesLoRA は、(i) がアダプタのみのモンテカルロサンプリングによって予測し、(ii) がARDスタイルのKL項を介して自動的に冗長な階数を自動的に生成する、という後部を定めている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) methods such as LoRA adapt large language models by inserting low-rank adapters, but they leave open two key questions: how to give the adapted model calibrated uncertainty, and how to choose the adapter rank. Existing approaches to uncertainty are typically post-hoc, while rank selection is manual and task-specific. BayesLoRA revisits variational dropout in the LoRA setting and shows that the natural unit of stochasticity is not individual weights but entire ranks of the adapter. By placing rank-wise variational distributions over adapter components, BayesLoRA defines a posterior that (i) yields calibrated predictions through adapter-only Monte Carlo sampling and (ii) prunes redundant ranks automatically via an ARD-style KL term. Theoretical analysis shows that this rank-parameterized posterior localizes uncertainty to the adapted subspace and explains amplification under distribution shift. Empirically, BayesLoRA improves calibration while at the same time producing lighter, faster adapters, removing the need to tune ranks by hand. This dual role of uncertainty estimation and uncertainty-driven pruning suggests BayesLoRA may offer a practical default for reliable and efficient PEFT.
• Abstract（参考訳）: LoRAのようなパラメータ効率のよい微調整(PEFT)手法は、低ランクのアダプタを挿入することで大きな言語モデルを適応させるが、適応されたモデルに不確実性を校正する方法と、アダプタのランクをどうやって選ぶかという2つの重要な疑問を残している。 既存の不確実性に対するアプローチは一般的にポストホックであるが、ランクの選択はマニュアルとタスク固有である。 BayesLoRA は LoRA の設定における変分ドロップアウトを再検討し、確率性の自然な単位は個々の重みではなく、アダプタの全ランクであることを示した。 アダプタコンポーネントにランクワイドな変分分布を配置することで、BayesLoRAはその後部を定義する。 i) アダプタのみのモンテカルロサンプリングとキャリブレーションによる予測 (ii) ARDスタイルのKL項によって自動的に冗長なランク付けを行う。 理論的解析により、このランクパラメータ化された後部局所化は適応された部分空間に不確実性をもたらし、分布シフトの下で増幅を説明することが示されている。 実証的に、BayesLoRAはキャリブレーションを改善し、同時により軽量で高速なアダプタを製造し、手動でランクを調整する必要がなくなる。 不確実性推定と不確実性駆動プルーニングという2つの役割は、ベイズローラが信頼性と効率的なPEFTに対して実用的なデフォルトを提供する可能性を示唆している。

関連論文リスト

• PhaseLoRA: Control-Regime-Conditioned Low-Rank Adaptation for Continuous-Action Vision-Language-Action Policies [74.07190331264488]
  本稿では,アクションチャンク予測ステップ毎に条件適応を行う軽量なLoRAパラメータ化を提案する。 PhaseLoRAはアクションエキスパートのLoRA左ファクタを変調し、有効な低ランク更新方向を時間とともに変更する。 その結果、連続的なVLAポリシーのための効果的な軽量PEFT軸として、軌道内コンディショニングが確立された。
  論文  参考訳（メタデータ） (2026-08-15T15:32:08Z)
• LAARA: Layer-Aware Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning [13.12609725011405]
  低ランク適応はパラメータ効率の微調整に広く用いられている。 我々は、一様ランクの割り当てが基本的に準最適であることを理論的、実証的に示す。 ランクを動的に割り当てる検索不要のフレームワークであるLAARAを提案する。
  論文  参考訳（メタデータ） (2026-07-02T19:01:59Z)
• Bayesian Sparse Low-Rank Adaptation for Large Language Model Uncertainty Estimation [14.828620034157316]
  大規模言語モデル(LLM)は顕著な推論能力を示すが、タスク固有の微調整は自信過剰に悩まされている。 本研究では、高密度パラメータ空間から低ランク適応(LoRA)の軽量ランクレベルへの不確実性のパラダイムをシフトさせる、単純かつ効果的なベイズスパースフレームワークであるData-Adaptive Lower-Rank Adaptation (DALorRA)を提案する。 LoRAは、過剰なモデルのキャパシティを提供する可能性のある複数のランク1コンポーネントを集約するという考えから、DALorRAはランク次元にマスキングを課し、トレーニング中のモデルのキャパシティの正規化と推論時のアンサンブルのようなキャリブレーションを可能にする。
  論文  参考訳（メタデータ） (2026-07-02T13:52:12Z)
• Mask the Target: A Plug-and-Play Regularizer Against LoRA Forgetting [28.32780832670352]
  Low-Rank Adaptation (LoRA)は、大規模言語モデルに適応するための最も広く使われている微調整機構の1つである。 適応分布がモデルのオリジナルのトレーニングやアライメントの分布と大きく異なる場合,この考え方は特に深刻なものとなる。 この制約に触発されて、我々はLoRAベースの適応が、リプレイフリー環境で忘れることに対する新しい学習のバランスをいかに改善するかを考察した。
  論文  参考訳（メタデータ） (2026-05-28T07:22:39Z)
• Rethinking Adapter Placement: A Dominant Adaptation Module Perspective [14.452224342067657]
  低ランク適応 (LoRA) は、低ランクアダプタを凍結事前訓練されたモデルに配置するパラメータ効率の良い微調整法である。 近年の研究では、LoRAアダプタの使用が減少し、パフォーマンスが向上する可能性があるが、既存の手法ではアダプタを広く配布している。 本研究では,DomLoRAを提案する。DomLoRAは1つのアダプタを主適応モジュールに配置する配置法である。
  論文  参考訳（メタデータ） (2026-05-07T13:01:00Z)
• Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
  本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。 我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。 この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-03-31T14:46:39Z)
• Towards Minimal Fine-Tuning of VLMs [59.01498204407219]
  Image-LoRAは、トランスフォーマーベースの視覚言語モデルのための軽量パラメータ効率の良い微調整レシピである。 Image-LoRAは、視覚的なスパン内の注目層の値パスにのみ、低ランク適応を適用します。 トレーニング可能なパラメータが少なく、アダプタのみのトレーニング FLOP は少ないが、標準のLoRAの精度と一致または密接に対応している。
  論文  参考訳（メタデータ） (2025-12-22T10:02:10Z)
• LoFA: Learning to Predict Personalized Priors for Fast Adaptation of Visual Generative Models [50.46815266062554]
  Low-Rank Adaptation (LoRA) は、タスク固有のデータと長い最適化の要求のため、実用的ではない。 高速モデル適応のためのパーソナライズされた事前情報を効率的に予測する汎用フレームワークであるLoFAを提案する。 提案手法は,複数のタスクやユーザプロンプトにまたがる,数秒以内の高品質なパーソナライズ前処理を常に予測し,処理時間を要する従来のLoRAよりも優れています。
  論文  参考訳（メタデータ） (2025-12-09T16:39:31Z)
• DiffLoRA: Differential Low-Rank Adapters for Large Language Models [59.58987161199141]
  本稿では,差分アテンション機構のパラメータ効率を考慮したDiffLoRAを提案する。 我々はDiffLoRAを、一般的なベンチマーク、多ショットインコンテキスト学習、RAG、長期コンテキストテストなど、幅広いNLPタスクで評価する。
  論文  参考訳（メタデータ） (2025-07-31T14:24:59Z)
• Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
  Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。 現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。 本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
  論文  参考訳（メタデータ） (2025-06-30T23:54:23Z)
• PLoP: Precise LoRA Placement for Efficient Finetuning of Large Models [13.074320303580361]
  Low-Rank Adaptation (LoRA) は大規模モデルに広く用いられている微調整法である。 PLoP(Precise LoRA Placement)は,アダプタの自動識別を実現する軽量な手法である。 PLoPは一貫して優れており、最悪の場合、一般的に使われている配置戦略と競合する。
  論文  参考訳（メタデータ） (2025-06-25T17:25:02Z)
• FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts [47.35092228595656]
  FLoEは、(i)MoEベースの低ランク適応のためのタスククリティカルトランスフォーマー層を動的に識別するFisher情報誘導重要度スコアリング機構、(ii)網羅的検索なしで特定のデータセット上で最適なLoRAランクを自動的に決定するベイズ最適化駆動ランクアロケータである。 多様なLCMとベンチマークの実験により、FLoEは顕著な効率と精度のトレードオフを達成し、FLoEは特に迅速な適応を必要とする資源制約環境において有利であることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-31T10:27:08Z)
• C-LoRA: Contextual Low-Rank Adaptation for Uncertainty Estimation in Large Language Models [16.30304620457414]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するためのコスト効率の良いソリューションを提供する。 LoRAは、データスカースな数ショット設定で過信な予測を生成する。 本研究では,新しい不確実性を認識し,パラメータを効率的に調整する手法として,コンテキスト低ランク適応(textbfC-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T11:44:02Z)
• Interpretable Risk Mitigation in LLM Agent Systems [0.0]
  反復囚人ジレンマの変動に基づくゲーム理論環境におけるエージェントの挙動を探索する。 本稿では,スパースオートエンコーダの潜在空間から抽出した解釈可能な特徴を持つ残差ストリームを,ゲームとプロンプトの双方に依存しない戦略修正手法を提案する。
  論文  参考訳（メタデータ） (2025-05-15T19:22:11Z)
• SaLoRA: Safety-Alignment Preserved Low-Rank Adaptation [41.91948079316541]
  近年の研究では、LoRAの微調整が大きな言語モデルの安全性を損なう可能性があるという懸念が持ち上がっている。 本稿では,安全性に配慮した低ランク適応(SaLoRA)を提案する。 以前のLoRAメソッドやその派生型とは異なり、SaLoRAは本来のアライメントを中断することなく、LLMへのターゲット変更を可能にする。 実験の結果,SaLoRAは様々な微調整タスクにおいて,様々な評価指標のアダプタベースのアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-01-03T11:34:28Z)
• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• RILQ: Rank-Insensitive LoRA-based Quantization Error Compensation for Boosting 2-bit Large Language Model Accuracy [5.767260383077013]
  低ランク適応(LoRA)がパラメータ効率のLLM微調整の主流となっている。 LoRAベースの量子化誤差補償(LQEC)は圧縮LDMの精度を回復するための強力なツールである。 RILQ(Rank-Insensitive LoRA-based Quantization Error Compensation)を提案する。
  論文  参考訳（メタデータ） (2024-12-02T05:09:56Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• LoRA vs Full Fine-tuning: An Illusion of Equivalence [76.11938177294178]
  我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。 特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。 我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
  論文  参考訳（メタデータ） (2024-10-28T17:14:01Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• Low-Rank Adaptation Secretly Imitates Differentially Private SGD [5.359060261460183]
  理論的には、低ランク適応はノイズの多いバッチ勾配を持つ微調整アダプタと等価である。 また、入射雑音の分散を適応ランクの減少関数として定量化する。 低ランク適応は、微調整データに対して、メンバシップ推論攻撃に対して堅牢性を提供する。
  論文  参考訳（メタデータ） (2024-09-26T04:56:49Z)
• Rapid Switching and Multi-Adapter Fusion via Sparse High Rank Adapters [16.160749645651567]
  本稿では,標準モデルの重量の1-2%を直接微調整し,その他をそのまま残すSparse High Rank Adapters (SHiRA)を提案する。 この高分散性は、推論オーバーヘッドを発生させることなく、融合モードで直接切り替えることを可能にし、マルチアダプタ融合時の概念損失を著しく低減する。
  論文  参考訳（メタデータ） (2024-07-22T22:46:36Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)
• Meta-Learning Adversarial Bandits [49.094361442409785]
  本研究の目的は,複数のタスクにまたがる帯域幅フィードバックを用いてオンライン学習を学習し,タスク間の平均性能を改善することである。 敵対的設定を最初に対象とするメタアルゴリズムとして,マルチアーム・バンディット(MAB)とバンディット・最適化(BLO)の2つの重要なケースに対して,特定の保証を設定するメタアルゴリズムを設計する。 我々の保証は、非正規化されたフォローザリーダーと乗法重みを組み合わせることで、オンラインで非滑らかで非Bシーケンスを学ぶのに十分であることを示すことに依存しています。
  論文  参考訳（メタデータ） (2022-05-27T17:40:32Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。