論文の概要: Laplacian Autoencoders for Learning Stochastic Representations

• arxiv url: http://arxiv.org/abs/2206.15078v1
• Date: Thu, 30 Jun 2022 07:23:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-02 02:27:16.563035
• Title: Laplacian Autoencoders for Learning Stochastic Representations
• Title（参考訳）: 確率表現学習のためのラプラシアンオートエンコーダ
• Authors: Marco Miani and Frederik Warburg and Pablo Moreno-Mu\~noz and Nicke Skafte Detlefsen and S{\o}ren Hauberg
• Abstract要約: ラプラス近似(LA)に触発された教師なし表現学習のためのベイズオートエンコーダを提案する。 提案手法は,自動エンコーダの新たな変分下界を求めるために,反復的なラプラス更新を実装している。 実験では, 分布外検出のための不確実性, 微分幾何学のための測地学, 欠落したデータ計算を提供することにより, ラプラシアンオートエンコーダのスケーラビリティと性能を実証する。
• 参考スコア（独自算出の注目度）: 0.6999740786886537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representation learning has become a practical family of methods for building rich parametric codifications of massive high-dimensional data while succeeding in the reconstruction side. When considering unsupervised tasks with test-train distribution shifts, the probabilistic viewpoint helps for addressing overconfidence and poor calibration of predictions. However, the direct introduction of Bayesian inference on top of neural networks weights is still an ardous problem for multiple reasons, i.e. the curse of dimensionality or intractability issues. The Laplace approximation (LA) offers a solution here, as one may build Gaussian approximations of the posterior density of weights via second-order Taylor expansions in certain locations of the parameter space. In this work, we present a Bayesian autoencoder for unsupervised representation learning inspired in LA. Our method implements iterative Laplace updates to obtain a novel variational lower-bound of the autoencoder evidence. The vast computational burden of the second-order partial derivatives is skipped via approximations of the Hessian matrix. Empirically, we demonstrate the scalability and performance of the Laplacian autoencoder by providing well-calibrated uncertainties for out-of-distribution detection, geodesics for differential geometry and missing data imputations.
• Abstract（参考訳）: 表現学習は, 大規模高次元データの豊富なパラメトリック・コーデフィケーションを構築するための実践的な手法の1つである。 テストトレイン分布シフトを伴う教師なしタスクを考えるとき、確率論的視点は、過剰な自信と予測のキャリブレーションに対処するのに役立つ。 しかし、ニューラルネットワークの重みの上にベイズ推論を直接導入することは、様々な理由、すなわち次元の呪いや難易度の問題のために、いまだに深刻な問題である。 ラプラス近似 (Laplace approximation, LA) は、パラメータ空間の特定の位置における2階テイラー展開(英語版)を通してウェイトの後続密度のガウス近似を構築することができる。 本研究では,LAにインスパイアされた教師なし表現学習のためのベイズオートエンコーダを提案する。 本手法は, 反復ラプラス更新を実装し, 自動エンコーダの新たな変分低バウンダリを得る。 2階部分微分の膨大な計算負荷はヘッセン行列の近似によって回避される。 実験では,分散検出のための不確実性,微分幾何学のための測地線,データインプテーションの欠如を十分に説明して,ラプラシアンオートエンコーダのスケーラビリティと性能を実証する。

関連論文リスト

• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes [23.682509357305406]
  オートエンコーダとその変種は表現学習と生成モデリングにおいて最も広く使われているモデルの一つである。 ベイジアンオートエンコーダの潜在空間に完全スパースガウスプロセス先行を課す新しいスパースガウスプロセスベイジアンオートエンコーダモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-09T09:57:51Z)
• Propagating Variational Model Uncertainty for Bioacoustic Call Label Smoothing [15.929064190849665]
  ベイズニューラルネットワークが計算した予測不確実性信号を用いて、モデルが訓練している自己学習タスクの学習をガイドすることに焦点を当てる。 コストのかかるモンテカルロサンプリングを選ばず、近似的な隠れ分散をエンドツーエンドに伝播する。 損失計算における不確かさの明示的利用により, 変動モデルにより予測・校正性能が向上したことを示す。
  論文  参考訳（メタデータ） (2022-10-19T13:04:26Z)
• On the Regularization of Autoencoders [14.46779433267854]
  教師なし設定自体が、学習されたオートエンコーダのモデル容量の大幅な削減という、強い正規化を誘導することを示す。 深部非線形オートエンコーダは、両方のモデルが最終層に同じ次元を持つ場合、線形オートエンコーダよりも正確にトレーニングデータに適合できない。 3つのよく知られたデータセットに対する実験において、すべてのモデルランクに対して正確な近似であることを示す。
  論文  参考訳（メタデータ） (2021-10-21T18:28:25Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Consistency Regularization for Variational Auto-Encoders [14.423556966548544]
  変分自動エンコーダ(VAE)は教師なし学習の強力なアプローチである。 本稿では,VAEの整合性を強制する正規化手法を提案する。
  論文  参考訳（メタデータ） (2021-05-31T10:26:32Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。