論文の概要: Soft Specialists: $α$-Rényi Ensembles for Uncertainty-Aware LLM Post-Training

• arxiv url: http://arxiv.org/abs/2605.27747v1
• Date: Tue, 26 May 2026 22:44:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.587273
• Title: Soft Specialists: $α$-Rényi Ensembles for Uncertainty-Aware LLM Post-Training
• Title（参考訳）: ソフトスペシャリスト:不確実性を意識したLDMポストトライニングのための$α$-Rényiアンサンブル
• Authors: Paula Cordero-Encinar, Georgy Tyukin, Andrew B. Duncan,
• Abstract要約: 大規模言語モデルの既存のトレーニングアプローチは、大量のデータに基づいて、単一のパラメータセットを学習する。 学習後パラメータよりも分布を学習するための$-Rényi変分フレームワークを提案する。 局所安定性基準を同定し,モデルの不特定により非退化後部が局所的に拡散しやすいことを示す。
• 参考スコア（独自算出の注目度）: 4.297453240868895
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Existing training approaches for large language models learn a single set of parameters, based on large volumes of data, which is typically heterogeneous, conflicting and often outright contradictory. As a result, the model is forced to compress conflicting goals, and inherent uncertainties into a single, averaged pattern of behaviour. We propose an $α$-Rényi variational framework for learning distributions over post-training parameters, offering an uncertainty-aware alternative to deep ensemble approaches. The resulting variational objective interpolates between classical variational Bayes and predictively oriented posterior learning, balancing between globally plausible individual models against systems of complementary specialists. We identify local stability criteria, demonstrating how model misspecification can make non-degenerate posterior spread locally favourable, manifesting contradictory or conflicting data as epistemic uncertainty. We apply our framework to LLM post-training, learning an ensemble of LoRA adapters attached to a shared, frozen base model, providing a scalable training procedure for both supervised fine-tuning and preference optimisation. Our approach enables training examples to be softly routed across ensemble members, promoting model specialisation and providing actionable uncertainty estimates across different tasks.
• Abstract（参考訳）: 既存の大規模言語モデルのトレーニングアプローチでは、大量のデータに基づいて、単一のパラメータセットを学習する。 その結果、モデルは相反する目標と固有の不確実性を1つの平均的な行動パターンに圧縮せざるを得なくなる。 我々は,学習後のパラメータよりも分布を学習するための$α$-Rényi変分フレームワークを提案し,深層アンサンブルアプローチに代わる不確実性を考慮した代替手段を提供する。 結果として得られる変動目的は、古典的変動ベイズと予測指向の後方学習の間を補足し、相補的スペシャリストのシステムに対して、グローバルに妥当な個人モデル間のバランスをとる。 局所的な安定性の基準を同定し,非退化後遺症が局所的に拡散し,矛盾あるいは矛盾するデータをてんかん性不確実性として示す。 我々は,LLM後処理に適用し,共有冷凍ベースモデルに付属するLoRAアダプタのアンサンブルを学習し,教師付き微調整と嗜好最適化の両方にスケーラブルなトレーニング手順を提供する。 提案手法では,アンサンブルメンバー間のトレーニング例をソフトにルーティングし,モデル特殊化を促進し,異なるタスク間で実行可能な不確実性推定を行う。

関連論文リスト

• Optimal Transport for LLM Reward Modeling from Noisy Preference [21.518348751984433]
  最適輸送を基盤としたフレームワークであるSelectiveRMを提案する。 まず、モデル予測の分布と嗜好データとを一致させるために、整合性差分法を考案する。 次に、部分輸送による質量緩和機構を組み込む。 これにより、意味的一貫性に矛盾するノイズの多い選好を持つサンプルを自律的に排除することができる。
  論文  参考訳（メタデータ） (2026-05-07T11:26:04Z)
• Improving Group Robustness on Spurious Correlation via Evidential Alignment [26.544938760265136]
  ディープニューラルネットワークは、しばしば急激な相関、すなわち非因果的特徴と標的の間の表面的関連を学習し、依存する。 既存のメソッドは通常、外部のグループアノテーションや補助的な決定論的モデルを使用することでこの問題を軽減する。 偏りのあるモデルの振る舞いを理解するために不確実性定量化を利用する新しいフレームワークであるエビデンシャルアライメントを提案する。
  論文  参考訳（メタデータ） (2025-06-12T22:47:21Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Regularized Neural Ensemblers [55.15643209328513]
  本研究では,正規化ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ランダムにベースモデル予測をドロップすることで,アンサンブルモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性の低い境界を提供し、過度な適合を減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models [0.9940108090221528]
  集約戦略は、分散決定論的モデルの重みとバイアスをプールまたはフューズするために開発されている。 決定論的モデルに対するFLスキームに付随するアグリゲーション手法の簡単な適用は不可能か、あるいは準最適性能をもたらすかを示す。
  論文  参考訳（メタデータ） (2024-03-22T15:02:24Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。