論文の概要: Prior Predictive Matching for Bayesian LoRA

• arxiv url: http://arxiv.org/abs/2610.35457v1
• Date: Mon, 26 Oct 2026 13:54:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.017041
• Title: Prior Predictive Matching for Bayesian LoRA
• Title（参考訳）: Bayesian LoRA の事前予測マッチング
• Abstract要約: 我々は、微調整前に動作するクローズド形式の事前予測推定器を導入する。 これらの先行予測量は、適応ランクの積と先行スケールの4番目のパワーによってのみ、事前予測量に依存することを示す。 提案手法は,予測負の対数選択(NLL)とMAP選択と辺縁の対数選択の校正を改善する。
• 参考スコア（独自算出の注目度）: 3.8685593915342174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian variants of Low-Rank Adaptation (LoRA) provide principled uncertainty estimation when fine-tuning large foundation models, but require specifying the prior over the low-rank weight updates. We address this hyperparameter selection problem by introducing a closed-form prior-predictive estimator that operates before fine-tuning. We analyze a second-order expansion of the network and quantify how the low-rank prior drives function-space deviations from the pretrained outputs. We also show that these prior-predictive quantities depend on the prior only through the product of the adaptation rank and the fourth power of the prior scale. Because the training targets share a single draw of the latent weight update, we can leverage the covariance between example residuals to derive a moment-matching estimator. Furthermore, our theoretical analysis establishes that the optimal prior precision scales as $r^{-1/2}$ with the rank $r$, allowing a single estimate to generalize across all ranks. Controlled experiments across regression and classification tasks validate our approximation and show that our estimator recovers the true prior scale. On RoBERTa-large, our approach improves predictive negative log-likelihood (NLL) and calibration over both MAP and marginal-likelihood selection without requiring validation data, while achieving competitive out-of-distribution detection.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) のベイズ変種は、大規模な基礎モデルを微調整する場合、原則的に不確かさを推定するが、低ランクの重み更新よりも事前を指定する必要がある。 この超パラメータ選択問題は、微調整前に動作するクローズド形式事前予測推定器を導入することで解決する。 ネットワークの2階展開を解析し、事前学習した出力から関数空間の偏差を低ランクでどのように駆動するかを定量化する。 また、これらの事前予測量は、適応ランクの積と事前スケールの4番目のパワーによってのみ、事前予測量に依存することを示す。 トレーニング対象は、潜在重量更新の1つの引き分けを共有するため、サンプル残差間の共分散を利用して、モーメントマッチング推定器を導出することができる。 さらに、我々の理論的解析により、最適な事前精度は$r^{-1/2}$で階数$r$とされ、全ての階数で単一の推定値が一般化される。 回帰および分類タスクの制御された実験は、近似を検証し、推定器が真の事前スケールを回復することを示す。 RoBERTa-largeでは,予測負の対数類似度(NLL)とMAPと辺縁類似度選択の校正を検証データを必要とせず改善し,競合する分布外検出を実現した。

関連論文リスト

• How Well Do Prior-Data Fitted Networks Amortize Bayesian Inference? [16.44502917151097]
  本研究では, PFN の展開誤差を事前, 文脈, 償却誤差に分解し, 現実的な事前条件下で, 参照 PPD に対して後者を計測する。 残像の残像の残像の残像の残像の残像の残像の残像は,特に事前学習分布下でのテクストトラル設定において持続することがわかった。 本研究では,複数のベイズモデルの平均値について検討し,この不確実性を連続的に低減し,完全なTabICLv2モデルまで予測を改善することができることを示した。
  論文  参考訳（メタデータ） (2026-10-09T15:49:24Z)
• Proper Scoring Rule-based Diffusion for Probabilistic Weather Forecasting [59.015610520217734]
  我々は,コンテキストとその劣化バージョンから,同じ将来状態を予測できる補助的条件記述タスクを導入する。 推測時には、予測器は、完全に破損したエンドポイントにおいて、単一の前方通過で各アンサンブル部材を生成することができる。
  論文  参考訳（メタデータ） (2026-09-29T22:47:10Z)
• Conformal Bayes under Label Shift: Post-Hoc Calibration vs. In-Training Adaptation [0.6599344783327052]
  我々はラベルシフトの下で共形ベイズを統一的な視点から研究する。 名目的対象領域のカバレッジを復元する2つの補完的アプローチを同定する。 トレーニング中の適応はデバイアス演算子として機能し、一定範囲で間隔幅を小さくする。
  論文  参考訳（メタデータ） (2026-06-10T09:38:48Z)
• Self-Supervised Laplace Approximation for Bayesian Uncertainty Quantification [45.61685127984694]
  我々は,ベイズモデルの予測不確実性を,自己予測データに基づいて定量化する。 Self-Supervised Laplace Approximation (SSLA)のモジュール構造は、さまざまな事前仕様をプラグインすることができます。 高価なリフィットを回避すべく、ASSLAと呼ばれるSSLAの近似バージョンをさらに導入する。
  論文  参考訳（メタデータ） (2026-05-12T14:46:08Z)
• Calibeating Prediction-Powered Inference [3.294420397461204]
  そこで本研究では,小さいラベル付きサンプルと大きなラベル付きサンプルと,出力が誤校正される可能性のあるブラックボックス予測モデルを用いて,半教師付き平均推定について検討した。 半教師付き推定に使用する前にラベル付きサンプルの予測スコアをキャリブレーションした後のキャリブレーション予測パワー推論を導入する。 シミュレーションや実データ実験では、推定器はPPIを上回り、AIPWやPPI++と競合する。
  論文  参考訳（メタデータ） (2026-04-23T04:06:08Z)
• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。