論文の概要: Robust Langevin Sampling under State-Dependent Heavy-Tailed Noise with Applications to LLM Fine-Tuning
- arxiv url: http://arxiv.org/abs/2610.12865v1
- Date: Fri, 09 Oct 2026 01:46:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.342805
- Title: Robust Langevin Sampling under State-Dependent Heavy-Tailed Noise with Applications to LLM Fine-Tuning
- Title（参考訳）: 状態依存型重音下でのロバスト・ランゲヴィンサンプリングとLLM微細調整への応用
- Abstract要約: 既存の収束保証は、ランゲヴィン・モンテカルロ(英語版)による非log-concaveサンプリングに対して、通常は大域リプシッツ勾配と一様有界雑音分散を仮定する。
我々は、一般化された滑らかさと、有限の$p$-次モーメント、$1pleq 2$を持つ重尾のオラクルによって、両方の仮定を緩和する。
RA-LMCは,精度と不確実性において,最先端のベースラインに適合または優れることを示す。
- 参考スコア（独自算出の注目度）: 7.259329208302806
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing convergence guarantees for non-log-concave sampling with stochastic gradient Langevin Monte Carlo (SG-LMC) typically assume globally Lipschitz gradients and uniformly bounded noise variance. Both assumptions can fail even in elementary sampling problems, and relaxing them better reflects practical applications such as Bayesian fine-tuning of large language models (LLMs). We relax both assumptions through generalized smoothness and our proposed state-dependent heavy-tailed oracle with finite $p$-th moments, $1<p\leq 2$. The oracle permits infinite variance when $p<2$ and includes the Blum-Gladyshev (BG-0) condition. We study these relaxations separately and jointly, proposing three methods. Under globally Lipschitz gradients, robust LMC (R-LMC) handles the proposed oracle through geometric-median centering and residual clipping. With exact gradients, adaptive LMC (A-LMC) controls discretization error under generalized smoothness. Robust adaptive LMC (RA-LMC) addresses both relaxations through robust estimation and a noise-aware step size. For all three methods, we establish non-asymptotic convergence guarantees in Fisher information (FI) without assuming dissipativity or a functional inequality. Synthetic experiments demonstrate FI convergence and the benefit of each mechanism. Bayesian fine-tuning experiments with LLMs and vision-language models support our oracle model and show that RA-LMC matches or outperforms state-of-the-art baselines in accuracy and uncertainty quantification.
- Abstract（参考訳）: 既存の収束保証は、確率勾配ランゲヴィン・モンテカルロ(SG-LMC)による非対数圏サンプリング(英語版)において、通常、大域的なリプシッツ勾配と一様有界雑音分散を仮定する。
どちらの仮定も初等サンプリング問題でも失敗し、ベイジアンによる大規模言語モデル(LLM)の微調整のような実践的な応用をよく反映する。
一般化された滑らかさと、有限の$p$-次モーメント, $1<p\leq 2$ を持つ状態依存重み付きオラクルによって、両方の仮定を緩和する。
オラクルは$p<2$のときに無限の分散を許容し、Blum-Gladyshev (BG-0) 条件を含む。
我々はこれらの緩和を別々に、共同で研究し、3つの方法を提案する。
グローバルなリプシッツ勾配の下では、ロバストLCC (R-LMC) は幾何学中間中心と残留クリッピングによって提案されたオラクルを扱う。
正確な勾配で、適応LCC(A-LMC)は一般化された滑らかさの下で離散化誤差を制御する。
ロバスト適応LCC(RA-LMC)は、ロバストな推定とノイズ対応のステップサイズによって緩和に対処する。
これら3つの方法のすべてに対して,不整合性や機能的不等式を仮定することなく,フィッシャー情報(FI)における非漸近収束保証を確立する。
合成実験では、FI収束と各機構の利点が示されている。
LLMと視覚言語モデルを用いたベイズ微調整実験は、我々のオラクルモデルをサポートし、RA-LMCが精度と不確かさの定量化において最先端のベースラインに適合または優れることを示す。
関連論文リスト
- Sample complexity of variance-reduced policy gradient: weaker assumptions and lower bounds [61.41272490044518]
REINFORCEの分散還元バージョンは、$O(-3)$サンプルの複雑さを改善して$$-stationary点を求める。
本稿では, 従来の重みの分散を仮定することなく, 同一レートを達成できる, 防御重要度サンプリングに基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-10-02T11:43:52Z) - Scalable Lindblad Noise Learning via Stochastic Tensor-Network Simulation [48.887627688666974]
大規模オープン量子システムにおける学習散逸率は、短期量子技術の大きな障害である。
本稿では,シミュレーション手法であるJump Method(TJM)を組み合わせたLindblad散逸率のスケーラブルなノイズ学習フレームワークを提案する。
我々は,Isingモデルにおける2つのノイズモデルに対するアプローチを実証し,各サイトについて,N_mathrmsite=16$まで独立散逸率を学習した。
スケーラブルな数値と厳密な理論的保証の組み合わせは、TJMベースのノイズ学習を大きな量子デバイスにおける散逸を特徴づける実用的な基礎として位置づけている。
論文 参考訳（メタデータ） (2026-08-25T15:07:11Z) - Distribution-Aware Robust Bilevel Optimization: Quantile-Guided Huber Updates in Two-Timescale Stochastic Approximation [16.106678611834102]
双レベル最適化(BLO)は階層的な決定には基本的だが、重み付き雑音下での臨界不安定性に悩まされている。
既存の技術は通常、等級チェックに依存しており、情報的幾何学的信号と外れ値の区別に失敗する。
論文 参考訳（メタデータ） (2026-06-21T10:57:37Z) - CauTion: Knowing When to Trust LLMs for Ensemble Causal Discovery [51.07538881798502]
大規模言語モデル(LLM)は、統計的推論を補完する将来的なドメイン知識の源を提供する。
我々は、LLMドメイン知識を統計的因果探索アルゴリズムのアンサンブルに確実に統合するフレームワークであるCauTionを提案する。
CauTionは、データ中心とLLM拡張ベースラインの両方を一貫して上回る。
論文 参考訳（メタデータ） (2026-06-02T13:07:43Z) - Scalable Variational Bayesian Fine-Tuning of LLMs via Orthogonalized Low-Rank Adapters [13.718993776070434]
不確実性定量化(UQ)は、大規模言語モデル(LLM)の信頼性を自己評価する上で最も重要である。
我々は、LLMに基づく決定論的特徴抽出器に不確実性推論のためのランダムな最終層パラメータが続くベイズ最後の層(BLL)モデルを構築した。
我々は変分(V)推論フレームワークを活用して、スケーラブルなベイズ微調整アプローチを提案する。
論文 参考訳（メタデータ） (2026-04-03T18:42:04Z) - Optimal Sample Complexity for Single Time-Scale Actor-Critic with Momentum [62.691095807959215]
我々は,シングルタイムスケールアクター・クリティック(AC)アルゴリズムを用いて,$O(-2)$の最適なグローバルポリシを得るための最適なサンプル複雑性を確立する。
これらのメカニズムは、既存のディープラーニングアーキテクチャと互換性があり、実用的な適用性を損なうことなく、小さな修正しか必要としない。
論文 参考訳（メタデータ） (2026-02-02T00:35:42Z) - Flipping Against All Odds: Reducing LLM Coin Flip Bias via Verbalized Rejection Sampling [59.133428586090226]
大規模言語モデル(LLM)は、しばしば自然言語を用いて確率分布を正確に記述することができる。
このミスマッチはモンテカルロ法、エージェントベースのシミュレーション、ランダム化された意思決定などの信頼性を必要とするタスクでの使用を制限する。
本稿では,古典的リジェクションサンプリングの自然言語適応であるVerbalized Rejection Smpling (VRS)を紹介する。
論文 参考訳（メタデータ） (2025-06-11T17:59:58Z) - Rational Tuning of LLM Cascades via Probabilistic Modeling [0.9208007322096532]
大規模言語モデル(LLM)の連立性能分布の確率的モデルを提案する。
ベイズ最適化を用いた信頼しきい値の選択と比較すると、マルコフパラメトリックコプラモデルの方がエラーコストのトレードオフに有利である。
異なるLLMの誤差率間の相互作用に関する我々のフレームワークの帰納的仮定は、サンプル効率を高める。
論文 参考訳（メタデータ） (2025-01-16T07:58:33Z) - Faster Sampling via Stochastic Gradient Proximal Sampler [28.422547264326468]
非log-concave分布からのサンプリングのための近位サンプリング器 (SPS) について検討した。
対象分布への収束性は,アルゴリズムの軌道が有界である限り保証可能であることを示す。
我々は、Langevin dynamics(SGLD)とLangevin-MALAの2つの実装可能な変種を提供し、SPS-SGLDとSPS-MALAを生み出した。
論文 参考訳（メタデータ） (2024-05-27T00:53:18Z) - Solving Multistage Stochastic Linear Programming via Regularized Linear
Decision Rules: An Application to Hydrothermal Dispatch Planning [77.34726150561087]
AdaSO(Adaptive least absolute shrinkage and selection operator)に基づく線形決定規則(LDR)の新しい正規化手法を提案する。
実験により、MSLPを解くために古典的な非正規化LDRを使用する場合、過度に適合する脅威は無視できないことが示された。
LHDP問題に対しては、非正規化ベンチマークと比較して、提案したフレームワークの次の利点を強調した。
論文 参考訳（メタデータ） (2021-10-07T02:36:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。