論文の概要: ReBaPL: Repulsive Bayesian Prompt Learning

• arxiv url: http://arxiv.org/abs/2511.17339v1
• Date: Fri, 21 Nov 2025 16:00:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-24 18:08:19.091751
• Title: ReBaPL: Repulsive Bayesian Prompt Learning
• Title（参考訳）: ReBaPL: Repulsive Bayesian Prompt Learning
• Authors: Yassir Bendou, Omar Ezzahir, Eduardo Fernandes Montesuma, Gabriel Mahuas, Victoria Shevchenko, Mike Gartrell,
• Abstract要約: 本稿では,ベイズ学習の新しい手法であるReBaPLについて紹介する。 本手法は,周期的なステップサイズスケジュールと後進勾配ハミルトンモンテカルロアルゴリズムを統合する。 本稿では,ReBaPLがいくつかのベンチマークデータセットに対して有効であることを示す。
• 参考スコア（独自算出の注目度）: 8.744783207923211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt learning has emerged as an effective technique for fine-tuning large-scale foundation models for downstream tasks. However, conventional prompt tuning methods are prone to overfitting and can struggle with out-of-distribution generalization. To address these limitations, Bayesian prompt learning has been proposed, which frames prompt optimization as a Bayesian inference problem to enhance robustness. This paper introduces Repulsive Bayesian Prompt Learning (ReBaPL), a novel method for Bayesian prompt learning, designed to efficiently explore the complex and often multimodal posterior landscape of prompts. Our method integrates a cyclical step-size schedule with a stochastic gradient Hamiltonian Monte Carlo (SGHMC) algorithm, enabling alternating phases of exploration to discover new modes, and exploitation to refine existing modes. Furthermore, we introduce a repulsive force derived from a potential function over probability metrics (including Maximum Mean Discrepancy and Wasserstein distance) computed on the distributions of representations produced by different prompts. This representation-space repulsion diversifies exploration and prevents premature collapse to a single mode. Our approach allows for a more comprehensive characterization of the prompt posterior distribution, leading to improved generalization. In contrast to prior Bayesian prompt learning methods, our method provides a modular plug-and-play Bayesian extension of any existing prompt learning method based on maximum likelihood estimation. We demonstrate the efficacy of ReBaPL on several benchmark datasets, showing superior performance over state-of-the-art methods for prompt learning.
• Abstract（参考訳）: 下流タスクのための大規模基礎モデルを微調整するための効果的な手法として、プロンプト学習が登場している。 しかし、従来のプロンプトチューニング手法は過度に適合する傾向があり、分布外一般化に苦慮する可能性がある。 これらの制限に対処するため、ベイズ的素早い学習法が提案され、強靭性を高めるためにベイズ的推論問題として最適化が進められている。 本稿では,ベイズ的素早い学習のための新しい手法ReBaPLについて紹介する。 提案手法は,周期的なステップサイズスケジュールと確率勾配ハミルトンモンテカルロ (SGHMC) アルゴリズムを統合し,探索の交互位相で新しいモードを探索し,既存のモードを改良する。 さらに、異なるプロンプトによって生成される表現の分布を計算した確率指標(最大平均離散値やワッサーシュタイン距離を含む)上のポテンシャル関数から導出される反発力を導入する。 この表現空間の反発は探索を多様化させ、未熟な崩壊を1つのモードに防ぐ。 提案手法により, 後続分布のより包括的特徴付けが可能となり, 一般化が向上する。 従来のベイズ的急進学習法とは対照的に,本手法は最大推定値に基づく任意の既存急進学習法のモジュール・プラグ・アンド・プレイ・ベイズ的拡張を提供する。 本稿では,ReBaPLがいくつかのベンチマークデータセットに対して有効であることを示す。

関連論文リスト

• Plug-and-Play Prompt Refinement via Latent Feedback for Diffusion Model Alignment [54.17386822940477]
  PromptLoopはプラグインとプレイの強化学習フレームワークで、遅延フィードバックをステップワイドな即興改善に組み込む。 この設計は、プロンプトベースのアライメントの柔軟性と一般性を維持しながら、拡散RLアプローチと構造的な類似性を実現する。
  論文  参考訳（メタデータ） (2025-10-01T02:18:58Z)
• Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [65.18157595903124]
  本研究では任意のプロンプトの反復的近似評価について検討する。 Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。 MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
  論文  参考訳（メタデータ） (2025-07-07T03:20:52Z)
• BAPE: Learning an Explicit Bayes Classifier for Long-tailed Visual Recognition [78.70453964041718]
  現在のディープラーニングアルゴリズムは通常、後部確率を簡易に推定することで最適分類器を解く。 この単純な手法は、厳密にバランスのとれた学術ベンチマークデータセットに有効であることが証明されている。 しかし、これは現実世界の長い尾のデータ分布には適用できない。 本稿では,データ分布のより正確な理論的推定を行う新しい手法(BAPE)を提案する。
  論文  参考訳（メタデータ） (2025-06-29T15:12:50Z)
• Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization [55.14484317645865]
  我々は,オフライン強化学習タスクにおいて,例外的な品質向上を促す条件拡散モデルを構築した。 本稿では,Promptディフューザがプロンプトチューニングプロセスの堅牢かつ効果的なツールであることを示し,メタRLタスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2024-11-02T07:38:02Z)
• Hard Prompts Made Interpretable: Sparse Entropy Regularization for Prompt Tuning with RL [29.01858866450715]
  ソフトQ-ラーニングを利用した最適なプロンプトを見つけることを目的としたRLPromptを提案する。 結果は有望な結果を示す一方で,プロンプトが不自然に現れることがしばしばあり,その解釈可能性を妨げることが確認されている。 この制限をスパルス・ツァリスエントロピー正規化(英語版)を用いて解決する。
  論文  参考訳（メタデータ） (2024-07-20T03:10:19Z)
• Streaming LifeLong Learning With Any-Time Inference [36.3326483579511]
  本稿では,1回の入力サンプルが各タイムステップ,シングルパス,クラスインクリメンタル,任意のタイミングで評価対象に到達する,新たな生涯学習手法を提案する。 また,スナップショット自己蒸留方式の暗黙正則化器を提案する。 我々の経験的評価と改善は,提案手法が先行研究を大きなマージンで上回ることを示すものである。
  論文  参考訳（メタデータ） (2023-01-27T18:09:19Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。