論文の概要: Learning to Explore for Stochastic Gradient MCMC
- arxiv url: http://arxiv.org/abs/2408.09140v1
- Date: Sat, 17 Aug 2024 08:36:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-20 22:25:12.432280
- Title: Learning to Explore for Stochastic Gradient MCMC
- Title（参考訳）: 確率勾配MCMCのための探索学習
- Authors: SeungHyun Kim, Seohyeon Jung, Seonghyeon Kim, Juho Lee,
- Abstract要約: マルチモーダルなターゲット分布を効率的に探索できるglssgmcmcを構築するメタラーニング戦略を提案する。
我々のアルゴリズムは、学習したSGMCMCが後部景観の高密度領域を迅速に探索することを可能にする。
- 参考スコア（独自算出の注目度）: 15.286308920219446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian Neural Networks(BNNs) with high-dimensional parameters pose a challenge for posterior inference due to the multi-modality of the posterior distributions. Stochastic Gradient MCMC(SGMCMC) with cyclical learning rate scheduling is a promising solution, but it requires a large number of sampling steps to explore high-dimensional multi-modal posteriors, making it computationally expensive. In this paper, we propose a meta-learning strategy to build \gls{sgmcmc} which can efficiently explore the multi-modal target distributions. Our algorithm allows the learned SGMCMC to quickly explore the high-density region of the posterior landscape. Also, we show that this exploration property is transferrable to various tasks, even for the ones unseen during a meta-training stage. Using popular image classification benchmarks and a variety of downstream tasks, we demonstrate that our method significantly improves the sampling efficiency, achieving better performance than vanilla \gls{sgmcmc} without incurring significant computational overhead.
- Abstract（参考訳）: 高次元パラメータを持つベイズニューラルネットワーク(BNN)は、後部分布の多モード性に起因する後部推論に挑戦する。
周期的学習率スケジューリングを伴う確率勾配MCMC(SGMCMC)は有望な解であるが、高次元多モード後部を探索するためには多数のサンプリングステップが必要であるため、計算コストがかかる。
本稿では,マルチモーダルなターゲット分布を効率的に探索するメタラーニング手法を提案する。
我々のアルゴリズムは、学習したSGMCMCが後部景観の高密度領域を迅速に探索することを可能にする。
また,この探索特性は,メタ学習段階において見つからないものであっても,様々なタスクに伝達可能であることを示す。
画像分類ベンチマークと様々なダウンストリームタスクを用いて,本手法がサンプリング効率を著しく向上し,バニラ{sgmcmc}よりも優れた性能が得られることを示した。
関連論文リスト
- USDRL: Unified Skeleton-Based Dense Representation Learning with Multi-Grained Feature Decorrelation [24.90512145836643]
本稿では,特徴デコレーションに基づく統一骨格に基づくDense Representation Learningフレームワークを提案する。
我々のアプローチは現在のSOTA(State-of-the-art)アプローチよりも大幅に優れています。
論文 参考訳（メタデータ） (2024-12-12T12:20:27Z) - Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。
テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。
LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。
提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
論文 参考訳（メタデータ） (2024-02-27T14:21:56Z) - Scalable Meta-Learning with Gaussian Processes [11.528128570533273]
タスク数でスケーラブルなメタ学習のためのモジュール型GPモデルであるScaML-GPを開発した。
私たちのコアコントリビューションは、階層的なトレーニングとタスクのスケーラビリティを可能にする、慎重に設計されたマルチタスクカーネルです。
合成および実世界のメタ学習実験において、ScaML-GPは少ないメタタスクと多数のメタタスクの両方で効率的に学習できることを実証した。
論文 参考訳（メタデータ） (2023-12-01T17:25:10Z) - A Probabilistic Approach to Self-Supervised Learning using Cyclical
Stochastic Gradient MCMC [8.027994148508844]
循環グラディエントハミルトンモンテカルロ(cSGHMC)を用いた実践的自己教師型学習法を提案する。
本枠組みでは,自己教師型学習モデルのパラメータよりも先を置き,cSGHMCを用いて埋め込みの高次元および多モード後部分布を近似する。
4つの挑戦的データセットに対して,複数の分類タスクに関する実験結果を提供する。
論文 参考訳（メタデータ） (2023-08-02T16:52:56Z) - Provably Efficient Representation Learning with Tractable Planning in
Low-Rank POMDP [81.00800920928621]
部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究
まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。
次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
論文 参考訳（メタデータ） (2023-06-21T16:04:03Z) - Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo [104.9535542833054]
我々は、強化学習のためのトンプソンサンプリングに基づくスケーラブルで効果的な探索戦略を提案する。
代わりに、Langevin Monte Carlo を用いて、Q 関数をその後部分布から直接サンプリングする。
提案手法は,Atari57スイートからのいくつかの挑戦的な探索課題において,最先端の深部RLアルゴリズムと比較して,より優れた,あるいは類似した結果が得られる。
論文 参考訳（メタデータ） (2023-05-29T17:11:28Z) - Multitask Adaptation by Retrospective Exploration with Learned World
Models [77.34726150561087]
本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。
このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
論文 参考訳（メタデータ） (2021-10-25T20:02:57Z) - Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and
Personalized Federated Learning [56.17603785248675]
モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。
既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。
本稿では,MAMLのメモリベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-09T08:47:58Z) - ConCrete MAP: Learning a Probabilistic Relaxation of Discrete Variables
for Soft Estimation with Low Complexity [9.62543698736491]
ConCrete MAP Detection (CMD)は、大きな逆線形問題に対する反復検出アルゴリズムである。
我々は、SotAと比較して、CMDが有望なパフォーマンス複雑性のトレードオフを特徴付けることを示す。
特に,CMDのソフト出力がデコーダに信頼性を持つことを示す。
論文 参考訳（メタデータ） (2021-02-25T09:54:25Z) - Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。
実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
論文 参考訳（メタデータ） (2020-08-12T15:02:59Z) - Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via
Non-uniform Subsampling of Gradients [54.90670513852325]
サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。
EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。
EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
論文 参考訳（メタデータ） (2020-02-20T18:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。