論文の概要: On the Construction and Implications of Low-Loss Valleys in LoRA-based Bayesian Inference

• arxiv url: http://arxiv.org/abs/2605.29580v1
• Date: Thu, 28 May 2026 08:24:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.065808
• Title: On the Construction and Implications of Low-Loss Valleys in LoRA-based Bayesian Inference
• Title（参考訳）: LoRAに基づくベイズ推論における低損失谷の構築と意味について
• Authors: Daniel Dold, Emanuel Sommer, Julius Kobialka, Oliver Dürr, David Rügamer,
• Abstract要約: 2つの変量を持つロラ空間において、セグメンテーションされたベジエ曲線パラメータ化であるLoRA-Curveを導入する。 曲線に沿った損失の経路的連続性とリプシッツ正則性を証明し、Qwen2.5 7Bによる推論と分類のベンチマークにおいて、線形摂動は損失障壁に遭遇することを示した。 平坦なミニマ摂動とジェンセン・シャノン分散正規化器を組み合わせることで、LoRA-Curveは性能を犠牲にすることなく予測分布の相互情報を測定できる。
• 参考スコア（独自算出の注目度）: 12.367241512406656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While parameter-efficient fine-tuning methods like low-rank adaptation (LoRA) are standard for large language models, principled estimation of epistemic uncertainty remains challenging. Recent results in the LoRA regime suggest that discrete multi-mode approaches such as deep ensembles offer little benefit over single-mode methods. This contradicts broader observations in deep learning, where ensembling independent optima typically improves generalization, and linking these modes through continuous low-loss valleys further enhances Bayesian model averaging (BMA). Whether such structure exists in the LoRA space and whether it yields functional diversity missed by local or discrete methods has not been studied. We introduce LoRA-Curve, a segmented Bézier curve parameterization in the LoRA space, with two variants: a free configuration that jointly optimizes all control points, and an anchored configuration that connects independently fine-tuned LoRA optima. We prove pathwise continuity and Lipschitz regularity of the loss along the curve and empirically show, across reasoning and classification benchmarks with Qwen2.5 7B, that linear interpolation encounters loss barriers, while our anchored multi-segment curves connect independent optima through continuous low-loss valleys. Combined with flat-minima perturbations and a Jensen-Shannon divergence regularizer, LoRA-Curve yields measurably higher mutual information of the predictive distribution without sacrificing performance, and links continuous parameter-space traversal to functional diversity.
• Abstract（参考訳）: 低ランク適応 (LoRA) のようなパラメータ効率のよい微調整法は大規模言語モデルでは標準であるが, 先天的不確実性の原理的推定は依然として困難である。 LoRA体制の最近の成果は、ディープアンサンブルのような離散的なマルチモードアプローチはシングルモード法にはほとんど利点がないことを示唆している。 これはディープラーニングにおける広範な観察と矛盾し、独立最適化は一般的に一般化を改善し、これらのモードを連続した低損失谷を通してリンクすることでベイズモデル平均化(BMA)をさらに強化する。 そのような構造がLoRA空間に存在するか、局所的あるいは離散的な手法によって欠落する機能的多様性をもたらすかは研究されていない。 LoRA空間におけるセグメンテーションされたベジエ曲線のパラメータ化であるLoRA-Curveを導入し、全ての制御点を協調的に最適化する自由構成と、独立に微調整されたLoRAオプティマを接続するアンカー構成の2つの変種について述べる。 線形補間が損失障壁に遭遇することを示すQwen2.5 7Bによる推論および分類ベンチマークにおいて、曲線に沿った損失の経路的連続性とリプシッツ正則性を実証的に証明し、一方、固定された多重セグメント曲線は連続的な低損失谷を通した独立オプティマを接続する。 平坦なミニマ摂動とJensen-Shannon分散正規化器を組み合わせることで、LoRA-Curveは性能を犠牲にすることなく予測分布の相互情報を測定し、連続的なパラメータ空間トラバースと機能的多様性をリンクする。

関連論文リスト

• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• OmniISR: A Unified Framework for Centralized and Federated Learning via Intermediate Supervision and Regularization [58.03221830946145]
  我々は、純粋なCL、純粋なFL、ハイブリッドCL-FLトレーニングモードを融合する統合フレームワークであるOmniISRを提案する。 我々は,OmniISRが集中型パラダイムとフェデレーション型パラダイムの両方において,モデル性能を一貫して改善していることを示す。
  論文  参考訳（メタデータ） (2026-05-19T04:13:27Z)
• DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
  本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。 DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。 6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-05-17T07:14:44Z)
• Scalable Variational Bayesian Fine-Tuning of LLMs via Orthogonalized Low-Rank Adapters [13.718993776070434]
  不確実性定量化(UQ)は、大規模言語モデル(LLM)の信頼性を自己評価する上で最も重要である。 我々は、LLMに基づく決定論的特徴抽出器に不確実性推論のためのランダムな最終層パラメータが続くベイズ最後の層(BLL)モデルを構築した。 我々は変分(V)推論フレームワークを活用して、スケーラブルなベイズ微調整アプローチを提案する。
  論文  参考訳（メタデータ） (2026-04-03T18:42:04Z)
• Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
  本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。 我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。 この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-03-31T14:46:39Z)
• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• Adaptive Federated LoRA in Heterogeneous Wireless Networks with Independent Sampling [15.218221234361922]
  Federated LoRAは、分散デバイス上で大きな言語モデルを効率的に微調整する技術として登場した。 本稿では,システムとデータの不均一性の両方の下で微調整を行う独立したフェデレーションコンバージェンスウォールクロック時間を提案する。 実験により,本手法は,様々なモデルやデータセットを対象とした最先端手法と比較して,ウォールクロック時間を短縮することを示した。
  論文  参考訳（メタデータ） (2025-05-29T15:31:37Z)
• AuroRA: Breaking Low-Rank Bottleneck of LoRA with Nonlinear Mapping [28.37735374308455]
  Aurora: (I) 完全な微調整性能を6.18%のパラメータで達成するだけでなく、(II) NLPとCVの両方のタスクにおいて、最先端PEFTメソッドを最大10.88%上回っている。
  論文  参考訳（メタデータ） (2025-05-24T15:16:27Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。