論文の概要: Gradient-based Discrete Sampling with Automatic Cyclical Scheduling

• arxiv url: http://arxiv.org/abs/2402.17699v2
• Date: Thu, 24 Oct 2024 18:01:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:35:15.623038
• Title: Gradient-based Discrete Sampling with Automatic Cyclical Scheduling
• Title（参考訳）: 自動周期スケジューリングによる勾配型離散サンプリング
• Authors: Patrick Pynadath, Riddhiman Bhattacharya, Arun Hariharan, Ruqi Zhang,
• Abstract要約: マルチモーダル離散分布における効率的かつ正確なサンプリングのための自動循環スケジューリングを提案する。 一般離散分布における非漸近収束と推論保証の証明を行う。
• 参考スコア（独自算出の注目度）: 8.017203108408973
• License:
• Abstract: Discrete distributions, particularly in high-dimensional deep models, are often highly multimodal due to inherent discontinuities. While gradient-based discrete sampling has proven effective, it is susceptible to becoming trapped in local modes due to the gradient information. To tackle this challenge, we propose an automatic cyclical scheduling, designed for efficient and accurate sampling in multimodal discrete distributions. Our method contains three key components: (1) a cyclical step size schedule where large steps discover new modes and small steps exploit each mode; (2) a cyclical balancing schedule, ensuring "balanced" proposals for given step sizes and high efficiency of the Markov chain; and (3) an automatic tuning scheme for adjusting the hyperparameters in the cyclical schedules, allowing adaptability across diverse datasets with minimal tuning. We prove the non-asymptotic convergence and inference guarantee for our method in general discrete distributions. Extensive experiments demonstrate the superiority of our method in sampling complex multimodal discrete distributions.
• Abstract（参考訳）: 離散分布、特に高次元のディープモデルでは、固有の不連続性のためにしばしば非常に多様である。 勾配に基づく離散サンプリングは有効であることが証明されているが、勾配情報により局所的なモードに閉じ込められやすい。 この課題に対処するために,マルチモーダル離散分布の効率的かつ正確なサンプリングを目的とした自動循環スケジューリングを提案する。 提案手法は,(1)大きなステップが新しいモードを発見し,小さなステップがそれぞれのモードを利用する循環ステップサイズスケジュール,(2)所定のステップサイズとマルコフ連鎖の「バランスの取れた」提案を確実にする循環バランススケジュール,(3)循環スケジュールにおけるハイパーパラメータを調整し,最小限のチューニングで多様なデータセットに適応可能な自動チューニングスキーム,の3つの重要な構成要素を含む。 一般離散分布における非漸近収束と推論保証の証明を行う。 複合多モード離散分布のサンプリングにおける本手法の優位性を示す。

関連論文リスト

• SITCOM: Step-wise Triple-Consistent Diffusion Sampling for Inverse Problems [14.2814208019426]
  拡散モデル(英: Diffusion Model、DM)は、トレーニングセット上で学習した分布からサンプリングできる生成モデルのクラスである。 DMは通常、画像空間内の測定条件分布からおよそサンプルに修正される。 これらの修正は、特定の設定(測定ノイズの存在など)や非線形タスクには適さないかもしれない。 測定一貫性拡散軌道を達成するための3つの条件を述べる。
  論文  参考訳（メタデータ） (2024-10-06T13:39:36Z)
• Controlling the Fidelity and Diversity of Deep Generative Models via Pseudo Density [70.14884528360199]
  本稿では, GAN や拡散モデルなどのバイアス深層生成モデルへのアプローチを導入し, 忠実度の向上や多様性の向上を図ったデータ生成手法を提案する。 提案手法では, 擬似密度という, 個人サンプルの新たな測定基準を用いて, トレーニングとデータ生成の分布を操作する。
  論文  参考訳（メタデータ） (2024-07-11T16:46:04Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Align Your Steps: Optimizing Sampling Schedules in Diffusion Models [63.927438959502226]
  拡散モデル(DM)は、視覚領域以降における最先端の生成モデリングアプローチとして確立されている。 DMの重大な欠点は、サンプリング速度の遅いことであり、大規模なニューラルネットワークによる多くのシーケンシャルな関数評価に依存している。 本稿では,DMのサンプリングスケジュールを高品質な出力に最適化する汎用的,原理的な手法を提案する。
  論文  参考訳（メタデータ） (2024-04-22T18:18:41Z)
• Space-Time Diffusion Bridge [0.4527270266697462]
  実確率分布から独立かつ同一に分布する新しい合成サンプルを生成する方法を提案する。 時空間次元にまたがる時空間混合戦略を用いる。 数値実験による時空拡散法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-02-13T23:26:11Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Aiming towards the minimizers: fast convergence of SGD for overparametrized problems [25.077446336619378]
  本稿では,勾配法と同一のケース複雑性を有する勾配法を提案する。 既存の保証は全て勾配法で小さなステップを踏む必要があり、結果として収束速度ははるかに遅くなる。 我々は,線形出力層を用いた十分に広いフィードフォワードニューラルネットワークのトレーニングにおいて,この条件が成り立つことを実証した。
  論文  参考訳（メタデータ） (2023-06-05T05:21:01Z)
• AutoSampling: Search for Effective Data Sampling Schedules [118.20014773014671]
  モデル学習のためのサンプリングスケジュールを自動的に学習するAutoSampling法を提案する。 提案手法の有効性を示す様々な画像分類タスクに本手法を適用した。
  論文  参考訳（メタデータ） (2021-05-28T09:39:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。