論文の概要: Differentiable Sampling of Categorical Distributions Using the
CatLog-Derivative Trick
- arxiv url: http://arxiv.org/abs/2311.12569v1
- Date: Tue, 21 Nov 2023 12:32:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 00:39:25.140895
- Title: Differentiable Sampling of Categorical Distributions Using the
CatLog-Derivative Trick
- Title（参考訳）: CatLog-Derivative Trick を用いたカテゴリー分布の微分サンプリング
- Authors: Lennert De Smet, Emanuele Sansone, Pedro Zuidberg Dos Martires
- Abstract要約: CatLog-Derivative trickは、カテゴリ分布に合わせて調整されたLog-Derivative trickのバリエーションである。
IndeCateRは、REINFORCEよりも明らかに低いばらつきを持つ独立カテゴリー分布の産物の重要なケースに対する、新規で偏りのない勾配推定器である。
IndeCateRを効率よく実装できることを実証的に示し、その勾配推定値が、同じサンプル数のバイアスとばらつきを、最先端技術と比較して有意に低くすることを示した。
- 参考スコア（独自算出の注目度）: 11.474931029488872
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Categorical random variables can faithfully represent the discrete and
uncertain aspects of data as part of a discrete latent variable model. Learning
in such models necessitates taking gradients with respect to the parameters of
the categorical probability distributions, which is often intractable due to
their combinatorial nature. A popular technique to estimate these otherwise
intractable gradients is the Log-Derivative trick. This trick forms the basis
of the well-known REINFORCE gradient estimator and its many extensions. While
the Log-Derivative trick allows us to differentiate through samples drawn from
categorical distributions, it does not take into account the discrete nature of
the distribution itself. Our first contribution addresses this shortcoming by
introducing the CatLog-Derivative trick - a variation of the Log-Derivative
trick tailored towards categorical distributions. Secondly, we use the
CatLog-Derivative trick to introduce IndeCateR, a novel and unbiased gradient
estimator for the important case of products of independent categorical
distributions with provably lower variance than REINFORCE. Thirdly, we
empirically show that IndeCateR can be efficiently implemented and that its
gradient estimates have significantly lower bias and variance for the same
number of samples compared to the state of the art.
- Abstract（参考訳）: カテゴリー的確率変数は、離散的潜在変数モデルの一部としてデータの離散的かつ不確実的側面を忠実に表現することができる。
このようなモデルでの学習は、分類的確率分布のパラメータに関して勾配を取る必要がある。
これらの難解勾配を推定する一般的な手法は、ログ微分トリックである。
このトリックは、よく知られたREINFORCE勾配推定器とその多くの拡張の基礎となる。
Log-Derivative のトリックは、分類的分布から引き出されたサンプルを通して区別することができるが、分布自体の離散的性質を考慮に入れない。
当社の最初のコントリビューションは、カテゴリ分布に合わせたCatLog-Derivativeトリックの導入による、この欠点に対処しています。
第二に、CatLog-Derivative(CatLog-Derivative)手法を用いて、ReINFORCEよりも明らかに低いばらつきを持つ独立カテゴリー分布の積の重要事例に対する、新規で偏りのない勾配推定器IndeCateRを導入する。
第3に、indecaterは効率的に実装でき、その勾配推定は、同じ数のサンプルに対するバイアスとばらつきが、アートの状況と比較して有意に低いことを実証的に示す。
関連論文リスト
- Generalizing Stochastic Smoothing for Differentiation and Gradient Estimation [59.86921150579892]
アルゴリズム,演算子,シミュレータ,その他の微分不可能関数の微分可能緩和に対する勾配推定の問題に対処する。
我々は、微分可能なソートとランキングのための分散化戦略、グラフ上の微分可能なショートパス、ポーズ推定のための微分可能なレンダリング、および微分可能なCryo-ETシミュレーションを開発する。
論文 参考訳（メタデータ） (2024-10-10T17:10:00Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - Adaptive Perturbation-Based Gradient Estimation for Discrete Latent
Variable Models [28.011868604717726]
複素離散分布に対する適応勾配推定器であるAdaptive IMLEを提案する。
我々の推定器は、他の勾配推定器よりも桁違いに少ないサンプルを必要とする一方で、忠実な推定を行うことができることを示す。
論文 参考訳（メタデータ） (2022-09-11T13:32:39Z) - Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。
本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
論文 参考訳（メタデータ） (2022-08-29T16:16:22Z) - Probabilistic Kolmogorov-Arnold Network [1.4732811715354455]
本稿では,アレータティック不確実性の場合に出力の確率分布を推定する手法を提案する。
提案手法は, 出力の入力依存確率分布と, 入力による分布型の変化を対象とする。
本手法は任意の回帰モデルに適用できるが, 計算効率のよいモデルの構築につながるため,kansと組み合わせる。
論文 参考訳（メタデータ） (2021-04-04T23:49:15Z) - Robust Correction of Sampling Bias Using Cumulative Distribution
Functions [19.551668880584973]
変数ドメインとバイアス付きデータセットは、トレーニングとターゲット分布の違いにつながる可能性がある。
これを緩和するための現在のアプローチは、しばしばトレーニングとターゲット確率密度関数の比率を推定することに依存する。
論文 参考訳（メタデータ） (2020-10-23T22:13:00Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳（メタデータ） (2020-10-22T05:04:38Z) - Learning Disentangled Representations with Latent Variation
Predictability [102.4163768995288]
本稿では,潜在不整合表現の変動予測可能性について述べる。
逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。
本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
論文 参考訳（メタデータ） (2020-07-25T08:54:26Z) - Generalized Gumbel-Softmax Gradient Estimator for Various Discrete
Random Variables [16.643346012854156]
ノードの勾配を評価することは、深層生成モデリングコミュニティにおいて重要な研究課題の1つである。
本稿では,連続緩和を伴うGumbel-Softmax推定器の一般バージョンを提案する。
論文 参考訳（メタデータ） (2020-03-04T01:13:15Z) - Stein Variational Inference for Discrete Distributions [70.19352762933259]
離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。
提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。
我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。
さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
論文 参考訳（メタデータ） (2020-03-01T22:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。