論文の概要: Fisher Auto-Encoders

• arxiv url: http://arxiv.org/abs/2007.06120v2
• Date: Fri, 23 Oct 2020 12:45:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 05:30:45.868862
• Title: Fisher Auto-Encoders
• Title（参考訳）: フィッシャーオートエンコーダ
• Authors: Khalil Elkhalil, Ali Hasan, Jie Ding, Sina Farsiu, Vahid Tarokh
• Abstract要約: 本稿では,フィッシャーオートエンコーダと呼ばれる,ロバストな自動エンコーダ(AE)のクラスを提案する。 我々のアプローチは、観測データと潜伏変数の難解な関節分布のフィッシャー偏差を最小化してフィッシャーAEを設計することである。 KLに基づく変分AE(VAEs)とは対照的に、フィッシャーAEは真とモデルに基づく後部分布の間の距離を正確に定量化することができる。
• 参考スコア（独自算出の注目度）: 37.14820766773909
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been conjectured that the Fisher divergence is more robust to model uncertainty than the conventional Kullback-Leibler (KL) divergence. This motivates the design of a new class of robust generative auto-encoders (AE) referred to as Fisher auto-encoders. Our approach is to design Fisher AEs by minimizing the Fisher divergence between the intractable joint distribution of observed data and latent variables, with that of the postulated/modeled joint distribution. In contrast to KL-based variational AEs (VAEs), the Fisher AE can exactly quantify the distance between the true and the model-based posterior distributions. Qualitative and quantitative results are provided on both MNIST and celebA datasets demonstrating the competitive performance of Fisher AEs in terms of robustness compared to other AEs such as VAEs and Wasserstein AEs.
• Abstract（参考訳）: フィッシャーの発散は、従来のクルバック・リブラー(KL)発散よりも不確かさをモデル化するのに強いと推測されている。 これにより、フィッシャーオートエンコーダと呼ばれる、堅牢な生成自動エンコーダ(AE)の新たなクラスが設計された。 提案手法は,観測データと潜伏変数の難解な関節分布と,仮定・モデル化された関節分布とのフィッシャー偏差を最小化し,フィッシャーAEを設計することである。 KLに基づく変分AE(VAEs)とは対照的に、フィッシャーAEは真とモデルに基づく後部分布の間の距離を正確に定量化することができる。 MNIST と celebA の2つのデータセットで定性的かつ定量的な結果が得られ、VAE や Wasserstein AE などの他の AE と比較すると、ロバスト性の観点からフィッシャーAE の競合性能を示す。

関連論文リスト

• Model Merging by Uncertainty-Based Gradient Matching [70.54580972266096]
  ミスマッチを減らすことで性能を改善するための不確実性に基づく新しいスキームを提案する。 我々の新しい手法は、大きな言語モデルと視覚変換器に一貫した改善をもたらす。
  論文  参考訳（メタデータ） (2023-10-19T15:02:45Z)
• Unscented Autoencoder [3.0108936184913295]
  変分オートエンコーダ(VAE)は、潜伏変数を用いた深部生成モデリングにおける基礎的なアプローチである。 フィルタの分野からUnscented Kalman Filter (UKF) によく知られた分布近似である Unscented Transform (UT) を適用する。 我々は,VAE(Unscented Autoencoder, UAE)の新規な決定論的サンプリングフレーバーを,サンプル毎の後部における正規化のような用語で純粋に訓練した。
  論文  参考訳（メタデータ） (2023-06-08T14:53:02Z)
• Do Bayesian Variational Autoencoders Know What They Don't Know? [0.6091702876917279]
  OoD(Out-of-Distribution)入力を検出する問題は、ディープニューラルネットワークにとって最重要課題である。 入力の密度を推定できる深部生成モデルでさえ、信頼できない可能性があることが以前に示されている。 本稿では,マルコフ連鎖モンテカルロ,バックプロパゲーションによるベイズ勾配,およびウェイト平均ガウスの3つの推論手法について検討する。
  論文  参考訳（メタデータ） (2022-12-29T11:48:01Z)
• On the failure of variational score matching for VAE models [3.8073142980733]
  本稿では,多様なデータセットやネットワークアーキテクチャ上での破滅的な障害を示す,既存の変分SM目標に対する批判的研究について述べる。 可変オートエンコーダ (VAE) モデルを最適化する際に, 等価な自動エンコード損失から目的に関する理論的知見が直接現れる。
  論文  参考訳（メタデータ） (2022-10-24T16:43:04Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains [34.77971292478243]
  変分オートエンコーダ(VAE)は、オートエンコーダのようなアーキテクチャで2つのニューラルネットワークを持つ、潜伏変数モデルである。 ログ型勾配の偏りのない推定器を導入することにより,VAEのトレーニング手法を開発する。 偏りのない推定器を装着したVAEは予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-10-05T08:11:55Z)
• To Regularize or Not To Regularize? The Bias Variance Trade-off in Regularized AEs [10.611727286504994]
  AEモデルの生成決定論的品質に及ぼす潜伏剤の影響について検討する。 我々は、FlexAEと呼ばれるモデルが、AEベースの生成モデルのための新しい最先端技術であることを示します。
  論文  参考訳（メタデータ） (2020-06-10T14:00:14Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)
• Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
  Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
  論文  参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。