論文の概要: Latent Optimal Paths by Gumbel Propagation for Variational Bayesian Dynamic Programming

• arxiv url: http://arxiv.org/abs/2306.02568v1
• Date: Mon, 5 Jun 2023 03:47:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 16:56:32.240661
• Title: Latent Optimal Paths by Gumbel Propagation for Variational Bayesian Dynamic Programming
• Title（参考訳）: 変分ベイズ動的計画のためのガムベル伝搬による潜在最適経路
• Authors: Xinlei Niu, Christian Walder, Jing Zhang, Charles Patrick Martin
• Abstract要約: 本稿では,変分オートエンコーダの潜時空間における構造的スパース最適経路を求める統一的手法を提案する。 本稿では,Gumbel分布の特性を用いて,Gibs分布とメッセージパスアルゴリズムの等価性を示す。 提案手法により、モデルが観測されていない構造的特徴の情報に依存する生成タスクのエンドツーエンドトレーニングが可能となる。
• 参考スコア（独自算出の注目度）: 7.313828711214753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a unified approach to obtain structured sparse optimal paths in the latent space of a variational autoencoder (VAE) using dynamic programming and Gumbel propagation. We solve the classical optimal path problem by a probability softening solution, called the stochastic optimal path, and transform a wide range of DP problems into directed acyclic graphs in which all possible paths follow a Gibbs distribution. We show the equivalence of the Gibbs distribution to a message-passing algorithm by the properties of the Gumbel distribution and give all the ingredients required for variational Bayesian inference. Our approach obtaining latent optimal paths enables end-to-end training for generative tasks in which models rely on the information of unobserved structural features. We validate the behavior of our approach and showcase its applicability in two real-world applications: text-to-speech and singing voice synthesis.
• Abstract（参考訳）: 本稿では,動的プログラミングとガムベル伝搬を用いて,変分オートエンコーダ(VAE)の潜時空間における構造的スパース最適経路を求める統一的手法を提案する。 確率的最適経路(英語版)と呼ばれる確率軟化解を用いて古典的最適経路問題を解き、幅広いdp問題から全ての可能な経路がギブス分布に従う有向非巡回グラフへと変換する。 ガムベル分布の特性によるメッセージパスアルゴリズムにおけるギブズ分布の等価性を示し、変分ベイズ推論に必要なすべての成分を与える。 提案手法は,モデルが観測不能な構造的特徴の情報に依存する生成タスクのエンドツーエンドトレーニングを可能にする。 提案手法の動作を検証し,テキスト音声合成と歌唱音声合成の2つの実世界応用における適用可能性を示す。

関連論文リスト

• Beyond Bayesian Model Averaging over Paths in Probabilistic Programs with Stochastic Support [20.53123189114551]
  本研究では,この完全後続モデルを用いて予測を行うことにより,経路上のベイズ平均化(BMA)を暗黙的に行うことを示す。 経路重み付けの代替メカニズムとして,積み重ねに基づくもの,PAC-Bayesのアイデアに基づくものを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:57:03Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
  スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。 提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。 合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
  論文  参考訳（メタデータ） (2023-10-03T20:37:03Z)
• Thompson sampling for improved exploration in GFlowNets [75.89693358516944]
  生成フローネットワーク(Generative Flow Networks, GFlowNets)は、合成対象物上の分布からのサンプリングを、学習可能なアクションポリシーを用いたシーケンシャルな意思決定問題として扱う、アモータイズされた変分推論アルゴリズムである。 2つの領域において、TS-GFNは、過去の研究で使われたオフ・ポリティクス・サーベイ・ストラテジーよりも、探索を改善し、目標分布への収束を早くすることを示す。
  論文  参考訳（メタデータ） (2023-06-30T14:19:44Z)
• A Langevin-like Sampler for Discrete Distributions [15.260564469562542]
  離散ランゲヴィン計画 (DLP) は、複雑な高次元離散分布をサンプリングするための単純でスケーラブルな勾配に基づく提案である。 DLPは1ステップですべての座標を並列に更新することができ、変更の大きさはステップサイズによって制御される。 未調整, 調整, プリコンディショニングバージョンを含む, サンプリングアルゴリズムのいくつかの変種を開発する。
  論文  参考訳（メタデータ） (2022-06-20T17:36:03Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• LDC-VAE: A Latent Distribution Consistency Approach to Variational AutoEncoders [26.349085280990657]
  本稿では, 後部分布と前部分布の矛盾を回避するために, 潜時分布整合性アプローチを提案する。 我々の手法は、VAEの強力な改善よりも、同等またはさらに優れた性能を実現している。
  論文  参考訳（メタデータ） (2021-09-22T10:34:40Z)
• Branch-and-Pruning Optimization Towards Global Optimality in Deep Learning [34.5772952287821]
  本稿では,ブランチとプルーニングによる深部モデルの最適化に向けて,新しい近似アルゴリズムであるem BPGradを提案する。 このような分枝と分枝の手順を繰り返すことで、有限反復の範囲内でグローバルな最適性を見つけることができることを証明します。 BPGrad for DLにもとづく効率的な適応解法が提案され,Adagrad,Adadelta,RMSProp,Adamなどの従来のDL解法よりも優れていた。
  論文  参考訳（メタデータ） (2021-04-05T00:43:03Z)
• Accelerating Metropolis-Hastings with Lightweight Inference Compilation [1.2633299843878945]
  推論コンパイル(英: Inference Compilation, lic)は、オープン・ユニバース確率型プログラミング言語において、アモータイズされた推論を実装している。 licは、ベイズネットワーク上で直接運用することを好んで、線形実行トレースのサンプリングを重要視している。 実験結果から,パラメータが少なく,ニュアンス確率変数に対するロバスト性が向上し,後続サンプリングが改善された。
  論文  参考訳（メタデータ） (2020-10-23T02:05:37Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Implicit Distributional Reinforcement Learning [61.166030238490634]
  2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。 我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T02:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。