論文の概要: Gradient-based Discrete Sampling with Automatic Cyclical Scheduling
- arxiv url: http://arxiv.org/abs/2402.17699v1
- Date: Tue, 27 Feb 2024 17:23:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 15:14:14.630539
- Title: Gradient-based Discrete Sampling with Automatic Cyclical Scheduling
- Title(参考訳): 自動周期スケジューリングによる勾配型離散サンプリング
- Authors: Patrick Pynadath, Riddhiman Bhattacharya, Arun Hariharan, Ruqi Zhang
- Abstract要約: マルチモーダル離散分布における効率的かつ正確なサンプリングのための自動循環スケジューリングを提案する。
一般離散分布における非漸近収束と推論保証の証明を行う。
- 参考スコア(独自算出の注目度): 8.758218443992467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Discrete distributions, particularly in high-dimensional deep models, are
often highly multimodal due to inherent discontinuities. While gradient-based
discrete sampling has proven effective, it is susceptible to becoming trapped
in local modes due to the gradient information. To tackle this challenge, we
propose an automatic cyclical scheduling, designed for efficient and accurate
sampling in multimodal discrete distributions. Our method contains three key
components: (1) a cyclical step size schedule where large steps discover new
modes and small steps exploit each mode; (2) a cyclical balancing schedule,
ensuring ``balanced" proposals for given step sizes and high efficiency of the
Markov chain; and (3) an automatic tuning scheme for adjusting the
hyperparameters in the cyclical schedules, allowing adaptability across diverse
datasets with minimal tuning. We prove the non-asymptotic convergence and
inference guarantee for our method in general discrete distributions. Extensive
experiments demonstrate the superiority of our method in sampling complex
multimodal discrete distributions.
- Abstract(参考訳): 離散分布、特に高次元深層モデルでは、しばしば固有の不連続性のために多様である。
勾配に基づく離散サンプリングは有効であることが証明されているが、勾配情報により局所的なモードに閉じ込められやすい。
この課題に対処するために,マルチモーダル離散分布の効率的かつ正確なサンプリングを目的とした自動循環スケジューリングを提案する。
提案手法は,(1)大きなステップが新しいモードを発見し,小さなステップがそれぞれのモードを利用する循環ステップサイズスケジュール,(2)所定のステップサイズとマルコフ連鎖の高効率性を確保する循環バランススケジュール,(3)循環スケジュールにおけるハイパーパラメータを調整し,最小限のチューニングで多様なデータセットに適応可能な自動チューニングスキーム,の3つの重要な構成要素を含む。
本手法の非漸近収束と推論の保証を一般離散分布において証明する。
複合多モード離散分布のサンプリングにおける本手法の優位性を示す。
関連論文リスト
- Align Your Steps: Optimizing Sampling Schedules in Diffusion Models [63.927438959502226]
拡散モデル(DM)は、視覚領域以降における最先端の生成モデリングアプローチとして確立されている。
DMの重大な欠点は、サンプリング速度の遅いことであり、大規模なニューラルネットワークによる多くのシーケンシャルな関数評価に依存している。
本稿では,DMのサンプリングスケジュールを高品質な出力に最適化する汎用的,原理的な手法を提案する。
論文 参考訳(メタデータ) (2024-04-22T18:18:41Z) - Space-Time Bridge-Diffusion [0.5348370085388683]
実数値分布から独立かつ同一分布(d.d.)の新規な合成サンプルを生成する手法を提案する。
我々の手法の中心は時空間次元にまたがる時空間混合戦略の統合である。
我々は,時空拡散法を数値実験で検証し,より広範な将来の理論と実験の基盤を築き,その方法を完全に認証する。
論文 参考訳(メタデータ) (2024-02-13T23:26:11Z) - Sampling from the Mean-Field Stationary Distribution [22.47952468523332]
平均場SDEの定常分布からのサンプリングの複雑さについて検討する。
私たちの主な洞察は、この問題の2つの重要な側面を分離することです。
我々のアプローチは概念的にシンプルであり、その柔軟性はアルゴリズムと理論の両方に最先端の技術を取り入れることができる。
論文 参考訳(メタデータ) (2024-02-12T01:04:39Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-05T13:42:11Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Aiming towards the minimizers: fast convergence of SGD for
overparametrized problems [25.077446336619378]
本稿では,勾配法と同一のケース複雑性を有する勾配法を提案する。
既存の保証は全て勾配法で小さなステップを踏む必要があり、結果として収束速度ははるかに遅くなる。
我々は,線形出力層を用いた十分に広いフィードフォワードニューラルネットワークのトレーニングにおいて,この条件が成り立つことを実証した。
論文 参考訳(メタデータ) (2023-06-05T05:21:01Z) - Formal Controller Synthesis for Markov Jump Linear Systems with
Uncertain Dynamics [64.72260320446158]
マルコフジャンプ線形系に対する制御器の合成法を提案する。
本手法は,MJLSの離散(モードジャンピング)と連続(確率線形)の両方の挙動を捉える有限状態抽象化に基づいている。
本手法を複数の現実的なベンチマーク問題,特に温度制御と航空機の配送問題に適用する。
論文 参考訳(メタデータ) (2022-12-01T17:36:30Z) - Robust Calibration with Multi-domain Temperature Scaling [86.07299013396059]
我々は,複数の領域からのデータを活用することで,分散シフトを処理するシステムキャリブレーションモデルを開発した。
提案手法は,分布シフト時のキャリブレーションを改善するために,領域内のロバスト性を利用する。
論文 参考訳(メタデータ) (2022-06-06T17:32:12Z) - AutoSampling: Search for Effective Data Sampling Schedules [118.20014773014671]
モデル学習のためのサンプリングスケジュールを自動的に学習するAutoSampling法を提案する。
提案手法の有効性を示す様々な画像分類タスクに本手法を適用した。
論文 参考訳(メタデータ) (2021-05-28T09:39:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。