論文の概要: Low-rank variational dropout: Uncertainty and rank selection in adapters

• arxiv url: http://arxiv.org/abs/2506.22809v2
• Date: Mon, 15 Sep 2025 11:21:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 15:23:16.246681
• Title: Low-rank variational dropout: Uncertainty and rank selection in adapters
• Title（参考訳）: 低ランク変分ドロップアウト:アダプタの不確かさとランク選択
• Authors: Cooper Doyle,
• Abstract要約: BayesLoRA は LoRA の設定における変分ドロップアウトを再検討し、自然の単位は個々の重みではなく、アダプタの全ランクであることを示した。 BayesLoRA は、(i) がアダプタのみのモンテカルロサンプリングによって予測し、(ii) がARDスタイルのKL項を介して自動的に冗長な階数を自動的に生成する、という後部を定めている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) methods such as LoRA adapt large language models by inserting low-rank adapters, but they leave open two key questions: how to give the adapted model calibrated uncertainty, and how to choose the adapter rank. Existing approaches to uncertainty are typically post-hoc, while rank selection is manual and task-specific. BayesLoRA revisits variational dropout in the LoRA setting and shows that the natural unit of stochasticity is not individual weights but entire ranks of the adapter. By placing rank-wise variational distributions over adapter components, BayesLoRA defines a posterior that (i) yields calibrated predictions through adapter-only Monte Carlo sampling and (ii) prunes redundant ranks automatically via an ARD-style KL term. Theoretical analysis shows that this rank-parameterized posterior localizes uncertainty to the adapted subspace and explains amplification under distribution shift. Empirically, BayesLoRA improves calibration while at the same time producing lighter, faster adapters, removing the need to tune ranks by hand. This dual role of uncertainty estimation and uncertainty-driven pruning suggests BayesLoRA may offer a practical default for reliable and efficient PEFT.
• Abstract（参考訳）: LoRAのようなパラメータ効率のよい微調整(PEFT)手法は、低ランクのアダプタを挿入することで大きな言語モデルを適応させるが、適応されたモデルに不確実性を校正する方法と、アダプタのランクをどうやって選ぶかという2つの重要な疑問を残している。 既存の不確実性に対するアプローチは一般的にポストホックであるが、ランクの選択はマニュアルとタスク固有である。 BayesLoRA は LoRA の設定における変分ドロップアウトを再検討し、確率性の自然な単位は個々の重みではなく、アダプタの全ランクであることを示した。 アダプタコンポーネントにランクワイドな変分分布を配置することで、BayesLoRAはその後部を定義する。 i) アダプタのみのモンテカルロサンプリングとキャリブレーションによる予測 (ii) ARDスタイルのKL項によって自動的に冗長なランク付けを行う。 理論的解析により、このランクパラメータ化された後部局所化は適応された部分空間に不確実性をもたらし、分布シフトの下で増幅を説明することが示されている。 実証的に、BayesLoRAはキャリブレーションを改善し、同時により軽量で高速なアダプタを製造し、手動でランクを調整する必要がなくなる。 不確実性推定と不確実性駆動プルーニングという2つの役割は、ベイズローラが信頼性と効率的なPEFTに対して実用的なデフォルトを提供する可能性を示唆している。

関連論文リスト

• DiffLoRA: Differential Low-Rank Adapters for Large Language Models [59.58987161199141]
  本稿では,差分アテンション機構のパラメータ効率を考慮したDiffLoRAを提案する。 我々はDiffLoRAを、一般的なベンチマーク、多ショットインコンテキスト学習、RAG、長期コンテキストテストなど、幅広いNLPタスクで評価する。
  論文  参考訳（メタデータ） (2025-07-31T14:24:59Z)
• Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
  Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。 現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。 本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
  論文  参考訳（メタデータ） (2025-06-30T23:54:23Z)
• C-LoRA: Contextual Low-Rank Adaptation for Uncertainty Estimation in Large Language Models [16.30304620457414]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するためのコスト効率の良いソリューションを提供する。 LoRAは、データスカースな数ショット設定で過信な予測を生成する。 本研究では,新しい不確実性を認識し,パラメータを効率的に調整する手法として,コンテキスト低ランク適応(textbfC-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T11:44:02Z)
• Interpretable Risk Mitigation in LLM Agent Systems [0.0]
  反復囚人ジレンマの変動に基づくゲーム理論環境におけるエージェントの挙動を探索する。 本稿では,スパースオートエンコーダの潜在空間から抽出した解釈可能な特徴を持つ残差ストリームを,ゲームとプロンプトの双方に依存しない戦略修正手法を提案する。
  論文  参考訳（メタデータ） (2025-05-15T19:22:11Z)
• SaLoRA: Safety-Alignment Preserved Low-Rank Adaptation [41.91948079316541]
  近年の研究では、LoRAの微調整が大きな言語モデルの安全性を損なう可能性があるという懸念が持ち上がっている。 本稿では,安全性に配慮した低ランク適応(SaLoRA)を提案する。 以前のLoRAメソッドやその派生型とは異なり、SaLoRAは本来のアライメントを中断することなく、LLMへのターゲット変更を可能にする。 実験の結果,SaLoRAは様々な微調整タスクにおいて,様々な評価指標のアダプタベースのアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-01-03T11:34:28Z)
• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• LoRA vs Full Fine-tuning: An Illusion of Equivalence [76.11938177294178]
  我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。 特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。 我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
  論文  参考訳（メタデータ） (2024-10-28T17:14:01Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• Meta-Learning Adversarial Bandits [49.094361442409785]
  本研究の目的は,複数のタスクにまたがる帯域幅フィードバックを用いてオンライン学習を学習し,タスク間の平均性能を改善することである。 敵対的設定を最初に対象とするメタアルゴリズムとして,マルチアーム・バンディット(MAB)とバンディット・最適化(BLO)の2つの重要なケースに対して,特定の保証を設定するメタアルゴリズムを設計する。 我々の保証は、非正規化されたフォローザリーダーと乗法重みを組み合わせることで、オンラインで非滑らかで非Bシーケンスを学ぶのに十分であることを示すことに依存しています。
  論文  参考訳（メタデータ） (2022-05-27T17:40:32Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。