論文の概要: Revisiting Bayesian Autoencoders with MCMC

• arxiv url: http://arxiv.org/abs/2104.05915v1
• Date: Tue, 13 Apr 2021 03:23:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 00:13:54.077443
• Title: Revisiting Bayesian Autoencoders with MCMC
• Title（参考訳）: MCMCによるベイズ自動エンコーダの再検討
• Authors: Rohitash Chandra, Mahir Jain, Manavendra Maharana, Pavel N. Krivitsky
• Abstract要約: 本稿では並列計算とLangevinグラデーション提案方式を用いて実装されたベイズ自動エンコーダを用いたMCMCサンプリングを提案する。 提案するベイズオートエンコーダは,文献上の関連する手法と比較して,同等の性能を提供する。 これはベイジアンオートエンコーダフレームワークの他のディープラーニングモデルへのさらなる応用を動機付けている。
• 参考スコア（独自算出の注目度）: 0.41998444721319217
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoencoders gained popularity in the deep learning revolution given their ability to compress data and provide dimensionality reduction. Although prominent deep learning methods have been used to enhance autoencoders, the need to provide robust uncertainty quantification remains a challenge. This has been addressed with variational autoencoders so far. Bayesian inference via MCMC methods have faced limitations but recent advances with parallel computing and advanced proposal schemes that incorporate gradients have opened routes less travelled. In this paper, we present Bayesian autoencoders powered MCMC sampling implemented using parallel computing and Langevin gradient proposal scheme. Our proposed Bayesian autoencoder provides similar performance accuracy when compared to related methods from the literature, with the additional feature of robust uncertainty quantification in compressed datasets. This motivates further application of the Bayesian autoencoder framework for other deep learning models.
• Abstract（参考訳）: 自動エンコーダーは、データを圧縮して次元を縮小する能力から、ディープラーニング革命で人気を博した。 オートエンコーダの強化には顕著なディープラーニング手法が用いられているが、堅牢な不確実性定量化を提供する必要性は依然として課題である。 これはこれまで、変分オートエンコーダで対処されてきた。 MCMC法によるベイズ推定は制限に直面しているが、近年の並列計算と勾配を組み込んだ高度な提案手法により、経路の移動が減少している。 本稿では,並列計算とランジュバン勾配法を用いて実装したmcmcサンプリングを用いたベイズオートエンコーダを提案する。 提案するベイズオートエンコーダは,圧縮データセットにおけるロバスト不確かさの定量化を特徴とし,関連する手法と比較した場合に類似の性能を提供する。 これはベイジアンオートエンコーダフレームワークの他のディープラーニングモデルへのさらなる応用を動機付けている。

関連論文リスト

• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Drop your Decoder: Pre-training with Bag-of-Word Prediction for Dense Passage Retrieval [26.00149743478937]
  マスケードオートエンコーダの事前学習は,高密度検索システムの初期化・拡張技術として広く普及している。 マスク付きオートエンコーダのデコーダを、完全に単純化されたBag-of-Word予測タスクに置き換えることで、従来のMAEの修正を提案する。 提案手法は,新たなパラメータを必要とせずに,大規模検索ベンチマークにおける最先端の検索性能を実現する。
  論文  参考訳（メタデータ） (2024-01-20T15:02:33Z)
• Variational Bayes image restoration with compressive autoencoders [4.879530644978008]
  逆問題の正規化は、計算イメージングにおいて最重要となる。 本研究では,まず,最先端生成モデルの代わりに圧縮型オートエンコーダを提案する。 第2の貢献として、変分ベイズ潜時推定(VBLE)アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-11-29T15:49:31Z)
• Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
  我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-03-31T15:44:13Z)
• Machine Learning-Aided Efficient Decoding of Reed-Muller Subcodes [59.55193427277134]
  Reed-Muller (RM) 符号は、一般的なバイナリインプットメモリレス対称チャネルの容量を達成する。 RM符号は制限されたレートのみを許容する。 効率的なデコーダは、RM符号に対して有限長で利用可能である。
  論文  参考訳（メタデータ） (2023-01-16T04:11:14Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• Benign Autoencoders [0.0]
  我々は最適なエンコーダとデコーダのペアを見つける問題を定式化し、その解を「良性オートエンコーダ」(BAE)と呼ぶ。 我々は、BAEが生成問題の最適圧縮性次元である多様体にデータを投影することを証明した。 実例として,分散シフト下での識別器の性能を向上させるために,BAEが最適で低次元の潜在表現を見出す方法を示す。
  論文  参考訳（メタデータ） (2022-10-02T21:36:27Z)
• Langevin Autoencoders for Learning Deep Latent Variable Models [27.60436426879683]
  我々はLangevin autoencoder (LAE) という新しい潜伏変数モデルを提案する。 ALDに基づいて、Langevin autoencoder (LAE) という新しい深層潜伏変数モデルも提示する。
  論文  参考訳（メタデータ） (2022-09-15T04:26:22Z)
• A Learning-Based Approach to Address Complexity-Reliability Tradeoff in OS Decoders [32.35297363281744]
  本稿では,人工ニューラルネットワークを用いて順序統計に基づくデコーダの必要な順序を予測することで,平均的複雑性やデコーダの遅延を低減できることを示した。
  論文  参考訳（メタデータ） (2021-03-05T18:22:20Z)
• Learning Autoencoders with Relational Regularization [89.53065887608088]
  データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。 エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする 我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
  論文  参考訳（メタデータ） (2020-02-07T17:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。