論文の概要: Leveraging Recursive Gumbel-Max Trick for Approximate Inference in Combinatorial Spaces

• arxiv url: http://arxiv.org/abs/2110.15072v1
• Date: Thu, 28 Oct 2021 12:46:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-29 15:37:19.526195
• Title: Leveraging Recursive Gumbel-Max Trick for Approximate Inference in Combinatorial Spaces
• Title（参考訳）: 組合せ空間における近似推論のための再帰的 Gumbel-Max Trick の活用
• Authors: Kirill Struminsky, Artyom Gadetsky, Denis Rakitin, Danil Karpushkin, Dmitry Vetrov
• Abstract要約: 構造化潜在変数は、深層学習モデルに意味のある事前知識を組み込むことができる。 標準的な学習手法は、潜伏変数をアルゴリズム出力として定義し、訓練に微分可能な代理語を使用することである。 我々は、Gumbel-Maxトリックを拡張して、構造化領域上の分布を定義する。
• 参考スコア（独自算出の注目度）: 4.829821142951709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured latent variables allow incorporating meaningful prior knowledge into deep learning models. However, learning with such variables remains challenging because of their discrete nature. Nowadays, the standard learning approach is to define a latent variable as a perturbed algorithm output and to use a differentiable surrogate for training. In general, the surrogate puts additional constraints on the model and inevitably leads to biased gradients. To alleviate these shortcomings, we extend the Gumbel-Max trick to define distributions over structured domains. We avoid the differentiable surrogates by leveraging the score function estimators for optimization. In particular, we highlight a family of recursive algorithms with a common feature we call stochastic invariant. The feature allows us to construct reliable gradient estimates and control variates without additional constraints on the model. In our experiments, we consider various structured latent variable models and achieve results competitive with relaxation-based counterparts.
• Abstract（参考訳）: 構造化潜在変数は、深層学習モデルに意味のある事前知識を組み込むことができる。 しかし、そのような変数による学習は、その離散的な性質のため、依然として困難である。 今日、標準的な学習アプローチは、潜在変数を摂動アルゴリズム出力として定義し、訓練に微分可能なサロゲートを使用することである。 一般に、サロゲートはモデルにさらなる制約を与え、必然的にバイアスのある勾配をもたらす。 これらの欠点を軽減するため、Gumbel-Maxトリックを拡張して、構造化ドメイン上の分布を定義する。 我々は,スコア関数推定器を最適化に利用することにより,微分可能なサロゲートを回避する。 特に、確率不変量と呼ばれる共通の特徴を持つ再帰アルゴリズムの族を強調します。 この特徴により、モデルにさらなる制約を加えることなく、信頼性の高い勾配推定と制御変数を構築することができる。 実験では,様々な構造的潜在変数モデルを検討し,リラクゼーションに基づくモデルと競合する結果を得る。

関連論文リスト

• Learning Discrete Latent Variable Structures with Tensor Rank Conditions [30.292492090200984]
  観測されていない離散データは、多くの科学分野においてユビキタスであり、これらの潜伏変数の因果構造を学習する方法は、データパターンを明らかにするために不可欠である。 ほとんどの研究は線形潜在変数モデルに焦点を当てたり、非線型関係や複素潜在構造を含む離散データにおけるケースに対処できない潜在構造に厳密な制約を課す。 観測変数集合 $mathbfX_p$ に対するテンソル階数条件を探索し、その階数が特定の条件集合の最小サポートによって決定されることを示す。 異なる観測変数のランクを探索することで、潜伏変数を特定できる。
  論文  参考訳（メタデータ） (2024-06-11T07:25:17Z)
• Learning Sparsity of Representations with Discrete Latent Variables [15.05207849434673]
  本稿では,スパース深部潜伏生成モデルSDLGMを提案する。 表現の空間性は固定されていないが、事前に定義された制限の下で観察そのものに適合する。 推論と学習のために,MC勾配推定器をベースとした補正変分法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T12:47:18Z)
• GFlowNet-EM for learning compositional latent variable models [115.96660869630227]
  ラテントの後方のモデリングにおける重要なトレードオフは、表現性とトラクタブルな最適化の間にある。 非正規化密度からサンプリングするアルゴリズムであるGFlowNetsを提案する。 GFlowNetsをトレーニングして、後部から潜伏者へのサンプルをトレーニングすることにより、それらの強度をアモータライズされた変分アルゴリズムとして活用する。
  論文  参考訳（メタデータ） (2023-02-13T18:24:21Z)
• Bayesian Hierarchical Models for Counterfactual Estimation [12.159830463756341]
  本稿では,多種多様なカウンターファクトの集合を推定する確率的パラダイムを提案する。 摂動を事前分布関数によるランダム変数として扱う。 収束特性の優れた勾配ベースサンプリング器は、後方サンプルを効率的に計算する。
  論文  参考訳（メタデータ） (2023-01-21T00:21:11Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• Conditional Generative Modeling via Learning the Latent Space [54.620761775441046]
  マルチモーダル空間における条件生成のための新しい枠組みを提案する。 潜在変数を使って一般化可能な学習パターンをモデル化する。 推論では、潜伏変数は複数の出力モードに対応する最適解を見つけるために最適化される。
  論文  参考訳（メタデータ） (2020-10-07T03:11:34Z)
• Efficient Marginalization of Discrete and Structured Latent Variables via Sparsity [26.518803984578867]
  離散的な(分類的または構造化された)潜在変数を持つニューラルネットワークモデルを訓練することは、計算的に困難である。 典型的には、真の限界のサンプリングに基づく近似に頼っている。 そこで本研究では,これらの推定器を高精度かつ効率的なマージン化によって置き換える新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-07-03T19:36:35Z)
• Differentiable Segmentation of Sequences [2.1485350418225244]
  我々は、連続的なワープ関数の学習の進歩の上に構築し、双方向パワー(TSP)分布に基づく新しいワープ関数のファミリーを提案する。 我々の定式化は特別な場合として分割一般化線型モデルの重要なクラスを含む。 我々は、PoissonレグレッションによるCOVID-19の拡散をモデル化し、変化点検出タスクに適用し、概念ドリフトによる分類モデルを学習する。
  論文  参考訳（メタデータ） (2020-06-23T15:51:48Z)
• Gradient Estimation with Stochastic Softmax Tricks [84.68686389163153]
  Gumbel-Softmax のトリックを空間に一般化するソフトマックスのトリックを導入する。 ソフトマックスのトリックは、より優れた性能を示す潜在変数モデルを訓練し、より潜時構造を発見するのに利用できる。
  論文  参考訳（メタデータ） (2020-06-15T00:43:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。