論文の概要: Latent Optimal Paths by Gumbel Propagation for Variational Bayesian Dynamic Programming

• arxiv url: http://arxiv.org/abs/2306.02568v3
• Date: Tue, 25 Jun 2024 06:13:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 21:19:43.589399
• Title: Latent Optimal Paths by Gumbel Propagation for Variational Bayesian Dynamic Programming
• Title（参考訳）: 変分ベイズ動的計画のためのガンベル伝搬による潜在最適経路
• Authors: Xinlei Niu, Christian Walder, Jing Zhang, Charles Patrick Martin,
• Abstract要約: 本稿では,Gumbel分布の特性を用いて,Gibs分布とメッセージパスアルゴリズムの等価性を示す。 本稿では,構造化されたスパース最適経路を潜在変数としてキャプチャするBDP-VAEを提案する。
• 参考スコア（独自算出の注目度）: 12.249274845167415
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose the stochastic optimal path which solves the classical optimal path problem by a probability-softening solution. This unified approach transforms a wide range of DP problems into directed acyclic graphs in which all paths follow a Gibbs distribution. We show the equivalence of the Gibbs distribution to a message-passing algorithm by the properties of the Gumbel distribution and give all the ingredients required for variational Bayesian inference of a latent path, namely Bayesian dynamic programming (BDP). We demonstrate the usage of BDP in the latent space of variational autoencoders (VAEs) and propose the BDP-VAE which captures structured sparse optimal paths as latent variables. This enables end-to-end training for generative tasks in which models rely on unobserved structural information. At last, we validate the behavior of our approach and showcase its applicability in two real-world applications: text-to-speech and singing voice synthesis. Our implementation code is available at \url{https://github.com/XinleiNIU/LatentOptimalPathsBayesianDP}.
• Abstract（参考訳）: 本稿では,確率軟化解を用いて古典的最適経路問題を解く確率最適経路を提案する。 この統一的なアプローチは、幅広いDP問題を、全ての経路がギブス分布に従う有向非巡回グラフに変換する。 本稿では,Gumbel分布の特性によるメッセージパスアルゴリズムに対するギブズ分布の等価性を示し,潜在経路,すなわちベイズ動的計画法(BDP)の変分ベイズ推定に必要なすべての成分を与える。 本稿では,変分オートエンコーダ(VAE)の潜時空間におけるBDPの利用を実証し,構造化されたスパース最適経路を潜時変数として捉えるBDP-VAEを提案する。 これにより、モデルが観測されていない構造情報に依存する生成タスクのエンドツーエンドトレーニングが可能になる。 最終的に、我々のアプローチの振る舞いを検証し、実世界の2つの応用、すなわちテキスト音声合成と歌声合成にその適用性を示す。 実装コードは \url{https://github.com/XinleiNIU/LatentOptimalPathsBayesianDP} で利用可能です。

関連論文リスト

• Beyond Bayesian Model Averaging over Paths in Probabilistic Programs with Stochastic Support [20.53123189114551]
  本研究では,この完全後続モデルを用いて予測を行うことにより,経路上のベイズ平均化(BMA)を暗黙的に行うことを示す。 経路重み付けの代替メカニズムとして,積み重ねに基づくもの,PAC-Bayesのアイデアに基づくものを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:57:03Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
  スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。 提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。 合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
  論文  参考訳（メタデータ） (2023-10-03T20:37:03Z)
• Thompson sampling for improved exploration in GFlowNets [75.89693358516944]
  生成フローネットワーク(Generative Flow Networks, GFlowNets)は、合成対象物上の分布からのサンプリングを、学習可能なアクションポリシーを用いたシーケンシャルな意思決定問題として扱う、アモータイズされた変分推論アルゴリズムである。 2つの領域において、TS-GFNは、過去の研究で使われたオフ・ポリティクス・サーベイ・ストラテジーよりも、探索を改善し、目標分布への収束を早くすることを示す。
  論文  参考訳（メタデータ） (2023-06-30T14:19:44Z)
• A Langevin-like Sampler for Discrete Distributions [15.260564469562542]
  離散ランゲヴィン計画 (DLP) は、複雑な高次元離散分布をサンプリングするための単純でスケーラブルな勾配に基づく提案である。 DLPは1ステップですべての座標を並列に更新することができ、変更の大きさはステップサイズによって制御される。 未調整, 調整, プリコンディショニングバージョンを含む, サンプリングアルゴリズムのいくつかの変種を開発する。
  論文  参考訳（メタデータ） (2022-06-20T17:36:03Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• LDC-VAE: A Latent Distribution Consistency Approach to Variational AutoEncoders [26.349085280990657]
  本稿では, 後部分布と前部分布の矛盾を回避するために, 潜時分布整合性アプローチを提案する。 我々の手法は、VAEの強力な改善よりも、同等またはさらに優れた性能を実現している。
  論文  参考訳（メタデータ） (2021-09-22T10:34:40Z)
• Branch-and-Pruning Optimization Towards Global Optimality in Deep Learning [34.5772952287821]
  本稿では,ブランチとプルーニングによる深部モデルの最適化に向けて,新しい近似アルゴリズムであるem BPGradを提案する。 このような分枝と分枝の手順を繰り返すことで、有限反復の範囲内でグローバルな最適性を見つけることができることを証明します。 BPGrad for DLにもとづく効率的な適応解法が提案され,Adagrad,Adadelta,RMSProp,Adamなどの従来のDL解法よりも優れていた。
  論文  参考訳（メタデータ） (2021-04-05T00:43:03Z)
• Accelerating Metropolis-Hastings with Lightweight Inference Compilation [1.2633299843878945]
  推論コンパイル(英: Inference Compilation, lic)は、オープン・ユニバース確率型プログラミング言語において、アモータイズされた推論を実装している。 licは、ベイズネットワーク上で直接運用することを好んで、線形実行トレースのサンプリングを重要視している。 実験結果から,パラメータが少なく,ニュアンス確率変数に対するロバスト性が向上し,後続サンプリングが改善された。
  論文  参考訳（メタデータ） (2020-10-23T02:05:37Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Implicit Distributional Reinforcement Learning [61.166030238490634]
  2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。 我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T02:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。