論文の概要: A Langevin-like Sampler for Discrete Distributions

• arxiv url: http://arxiv.org/abs/2206.09914v1
• Date: Mon, 20 Jun 2022 17:36:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 14:22:16.898342
• Title: A Langevin-like Sampler for Discrete Distributions
• Title（参考訳）: 離散分布に対するlangevin-like sampler
• Authors: Ruqi Zhang, Xingchao Liu, Qiang Liu
• Abstract要約: 離散ランゲヴィン計画 (DLP) は、複雑な高次元離散分布をサンプリングするための単純でスケーラブルな勾配に基づく提案である。 DLPは1ステップですべての座標を並列に更新することができ、変更の大きさはステップサイズによって制御される。 未調整, 調整, プリコンディショニングバージョンを含む, サンプリングアルゴリズムのいくつかの変種を開発する。
• 参考スコア（独自算出の注目度）: 15.260564469562542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose discrete Langevin proposal (DLP), a simple and scalable gradient-based proposal for sampling complex high-dimensional discrete distributions. In contrast to Gibbs sampling-based methods, DLP is able to update all coordinates in parallel in a single step and the magnitude of changes is controlled by a stepsize. This allows a cheap and efficient exploration in the space of high-dimensional and strongly correlated variables. We prove the efficiency of DLP by showing that the asymptotic bias of its stationary distribution is zero for log-quadratic distributions, and is small for distributions that are close to being log-quadratic. With DLP, we develop several variants of sampling algorithms, including unadjusted, Metropolis-adjusted, stochastic and preconditioned versions. DLP outperforms many popular alternatives on a wide variety of tasks, including Ising models, restricted Boltzmann machines, deep energy-based models, binary neural networks and language generation.
• Abstract（参考訳）: 複素高次元離散分布をサンプリングするための単純でスケーラブルな勾配に基づく離散的ランゲヴィン提案(DLP)を提案する。 ギブスサンプリング法とは対照的に、DLPは1ステップで全ての座標を並列に更新することができ、変化の大きさはステップサイズによって制御される。 これにより、高次元および強い相関変数の空間における安価で効率的な探索が可能になる。 静止分布の漸近バイアスが対数四分分布に対してゼロであることを示し、対数四分分布に近い分布に対して小さいことを示し、DLPの有効性を証明した。 dlpでは,非調整型,メトロポリス調整型,確率型,プリコンディショニング型など,いくつかのサンプリングアルゴリズムを開発した。 dlpは、イジングモデル、制限ボルツマンマシン、ディープエネルギーベースのモデル、バイナリニューラルネットワーク、言語生成など、さまざまなタスクにおいて、多くの一般的な選択肢を上回っている。

関連論文リスト

• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• Faster Sampling via Stochastic Gradient Proximal Sampler [28.422547264326468]
  非log-concave分布からのサンプリングのための近位サンプリング器 (SPS) について検討した。 対象分布への収束性は,アルゴリズムの軌道が有界である限り保証可能であることを示す。 我々は、Langevin dynamics(SGLD)とLangevin-MALAの2つの実装可能な変種を提供し、SPS-SGLDとSPS-MALAを生み出した。
  論文  参考訳（メタデータ） (2024-05-27T00:53:18Z)
• Gaussian Cooling and Dikin Walks: The Interior-Point Method for Logconcave Sampling [8.655526882770742]
  1990年代、ネスターとネミロフスキーは自己調和障壁に基づく凸最適化のための内部点法(IPM)を開発した。 2012年、カナンとナラヤナンはポリトープを一様にサンプリングするダイキンウォークを提案した。 本稿では、多時間サンプリングアルゴリズムのためのダイキンウォークと共にIPM機械を開発し、適応させることにより、このアプローチを一般化する。
  論文  参考訳（メタデータ） (2023-07-24T17:15:38Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
  本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。 各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。 第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2023-02-18T09:24:15Z)
• DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over Graphs [54.08445874064361]
  本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。 Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。 提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
  論文  参考訳（メタデータ） (2022-08-29T18:01:42Z)
• Determinantal point processes based on orthogonal polynomials for sampling minibatches in SGD [0.0]
  勾配降下(SGD)は機械学習の基盤である。 デフォルトのミニバッチ構成では、望ましいサイズのサブセットを一様にサンプリングする。 DPPと制御された近似の列が、一様サンプリングよりもバッチサイズで高速に崩壊するばらつきを持つ勾配推定器にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2021-12-11T15:09:19Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
  このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。 また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
  論文  参考訳（メタデータ） (2021-02-08T20:08:50Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Ensemble Slice Sampling: Parallel, black-box and gradient-free inference for correlated & multimodal distributions [0.0]
  スライスサンプリング (Slice Sampling) は、最小ハンドチューニングで目標分布の特性に適応するマルコフ連鎖モンテカルロアルゴリズムとして登場した。 本稿では,初期長さ尺度を適応的に調整することで,そのような困難を回避できるアルゴリズムであるEnsemble Slice Sampling(ESS)を紹介する。 これらのアフィン不変アルゴリズムは簡単に構築でき、手作業で調整する必要がなく、並列計算環境で容易に実装できる。
  論文  参考訳（メタデータ） (2020-02-14T19:00:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。