論文の概要: Latent Transformations for Discrete-Data Normalising Flows

• arxiv url: http://arxiv.org/abs/2006.06346v1
• Date: Thu, 11 Jun 2020 11:41:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 09:53:58.643497
• Title: Latent Transformations for Discrete-Data Normalising Flows
• Title（参考訳）: 離散値正規化流れの潜時変換
• Authors: Rob Hesselink and Wilker Aziz
• Abstract要約: 我々は、ある変換を決定論的にパラメータ化するのではなく、潜在変換よりも分布を予測できる非バイアスの代替案を提案する。 変換では、データの限界確率は微分可能であり、スコア関数推定による勾配に基づく学習が可能となる。 決定論的プロキシ勾配と偏りのないスコア関数推定の両方で大きな課題を観測する。
• 参考スコア（独自算出の注目度）: 15.005894753472894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalising flows (NFs) for discrete data are challenging because parameterising bijective transformations of discrete variables requires predicting discrete/integer parameters. Having a neural network architecture predict discrete parameters takes a non-differentiable activation function (eg, the step function) which precludes gradient-based learning. To circumvent this non-differentiability, previous work has employed biased proxy gradients, such as the straight-through estimator. We present an unbiased alternative where rather than deterministically parameterising one transformation, we predict a distribution over latent transformations. With stochastic transformations, the marginal likelihood of the data is differentiable and gradient-based learning is possible via score function estimation. To test the viability of discrete-data NFs we investigate performance on binary MNIST. We observe great challenges with both deterministic proxy gradients and unbiased score function estimation. Whereas the former often fails to learn even a shallow transformation, the variance of the latter could not be sufficiently controlled to admit deeper NFs.
• Abstract（参考訳）: 離散データに対する正規化フロー(nfs)は、離散変数の単射変換のパラメータ化は離散/整数パラメータの予測を必要とするため、難しい。 ニューラルネットワークアーキテクチャが離散パラメータを予測するには、勾配に基づく学習を妨げる非微分不可能なアクティベーション関数(ステップ関数など)が必要となる。 この非微分可能性を回避するために、以前の研究ではストレートスルー推定器のようなバイアス付きプロキシ勾配を採用していた。 我々は、ある変換を決定論的にパラメータ化するのではなく、潜在変換よりも分布を予測できる非バイアスの代替案を提案する。 確率変換では、データの限界確率は微分可能であり、スコア関数の推定によって勾配に基づく学習が可能となる。 離散データNFの生存可能性をテストするために,バイナリMNISTの性能について検討する。 決定論的プロキシ勾配と偏りのないスコア関数推定の両方で大きな課題を観測する。 前者は浅い変換を学ばないことが多いが、後者の分散はより深いNFを受け入れるのに十分制御できない。

関連論文リスト

• Generalizing Stochastic Smoothing for Differentiation and Gradient Estimation [59.86921150579892]
  アルゴリズム,演算子,シミュレータ,その他の微分不可能関数の微分可能緩和に対する勾配推定の問題に対処する。 我々は、微分可能なソートとランキングのための分散化戦略、グラフ上の微分可能なショートパス、ポーズ推定のための微分可能なレンダリング、および微分可能なCryo-ETシミュレーションを開発する。
  論文  参考訳（メタデータ） (2024-10-10T17:10:00Z)
• Variational Sampling of Temporal Trajectories [39.22854981703244]
  遷移関数 $f$ を関数空間の要素として明示的にパラメータ化することにより、軌道の分布を学習する機構を導入する。 我々のフレームワークは、新しい軌道の効率的な合成を可能にすると同時に、推論に便利なツールを直接提供します。
  論文  参考訳（メタデータ） (2024-03-18T02:12:12Z)
• Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
  柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。 合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
  論文  参考訳（メタデータ） (2023-01-02T06:16:56Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
  統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。 本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
  論文  参考訳（メタデータ） (2022-08-29T16:16:22Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Robust Correction of Sampling Bias Using Cumulative Distribution Functions [19.551668880584973]
  変数ドメインとバイアス付きデータセットは、トレーニングとターゲット分布の違いにつながる可能性がある。 これを緩和するための現在のアプローチは、しばしばトレーニングとターゲット確率密度関数の比率を推定することに依存する。
  論文  参考訳（メタデータ） (2020-10-23T22:13:00Z)
• Probabilistic Numeric Convolutional Neural Networks [80.42120128330411]
  画像や時系列などの連続的な入力信号は、不規則にサンプリングされたり、値が欠けていたりすることは、既存のディープラーニング手法では困難である。 ガウス過程(GP)として特徴を表す確率的畳み込みニューラルネットワークを提案する。 次に、畳み込み層を、このGP上で定義されたPDEの進化として定義し、次いで非線形性とする。 実験では,SuperPixel-MNISTデータセットの先行技術と医療時間2012データセットの競合性能から,提案手法の誤差を3倍に削減できることが示されている。
  論文  参考訳（メタデータ） (2020-10-21T10:08:21Z)
• Reliable Categorical Variational Inference with Mixture of Discrete Normalizing Flows [10.406659081400354]
  変分近似は、サンプリングによって推定される予測の勾配に基づく最適化に基づいている。 カテゴリー分布のGumbel-Softmaxのような連続緩和は勾配に基づく最適化を可能にするが、離散的な観測のために有効な確率質量を定義しない。 実際には、緩和の量を選択することは困難であり、望ましいものと一致しない目的を最適化する必要がある。
  論文  参考訳（メタデータ） (2020-06-28T10:39:39Z)
• Generalized Gumbel-Softmax Gradient Estimator for Various Discrete Random Variables [16.643346012854156]
  ノードの勾配を評価することは、深層生成モデリングコミュニティにおいて重要な研究課題の1つである。 本稿では,連続緩和を伴うGumbel-Softmax推定器の一般バージョンを提案する。
  論文  参考訳（メタデータ） (2020-03-04T01:13:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。