論文の概要: Stochastic Bottleneck: Rateless Auto-Encoder for Flexible Dimensionality Reduction

• arxiv url: http://arxiv.org/abs/2005.02870v1
• Date: Wed, 6 May 2020 14:47:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 04:38:03.912842
• Title: Stochastic Bottleneck: Rateless Auto-Encoder for Flexible Dimensionality Reduction
• Title（参考訳）: 確率ボトルネック:フレキシブル次元化のためのレートレスオートエンコーダ
• Authors: Toshiaki Koike-Akino and Ye Wang
• Abstract要約: 本稿では、フレキシブルな潜在次元を実現するために、レートレスオートエンコーダ(RL-AE)という新しい概念を提案する。 提案したRL-AEは低歪みを達成しつつ, 可変次元の低減を実現可能であることを実験的に実証した。
• 参考スコア（独自算出の注目度）: 16.42183040840934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new concept of rateless auto-encoders (RL-AEs) that enable a flexible latent dimensionality, which can be seamlessly adjusted for varying distortion and dimensionality requirements. In the proposed RL-AEs, instead of a deterministic bottleneck architecture, we use an over-complete representation that is stochastically regularized with weighted dropouts, in a manner analogous to sparse AE (SAE). Unlike SAEs, our RL-AEs employ monotonically increasing dropout rates across the latent representation nodes such that the latent variables become sorted by importance like in principal component analysis (PCA). This is motivated by the rateless property of conventional PCA, where the least important principal components can be discarded to realize variable rate dimensionality reduction that gracefully degrades the distortion. In contrast, since the latent variables of conventional AEs are equally important for data reconstruction, they cannot be simply discarded to further reduce the dimensionality after the AE model is trained. Our proposed stochastic bottleneck framework enables seamless rate adaptation with high reconstruction performance, without requiring predetermined latent dimensionality at training. We experimentally demonstrate that the proposed RL-AEs can achieve variable dimensionality reduction while achieving low distortion compared to conventional AEs.
• Abstract（参考訳）: 本研究では,可変歪みや寸法要求に対してシームレスに調整可能なフレキシブルな潜在次元を実現する,レートレスオートエンコーダ(rl-aes)の新たな概念を提案する。 提案したRL-AEでは、決定論的ボトルネックアーキテクチャの代わりに、重み付けされたドロップアウトで確率的に正規化される過完全表現をスパースAE(SAE)に類似した方法で使用する。 SAEと異なり、我々のRL-AEは、主成分分析(PCA)のように、潜伏変数が重要度によってソートされるように、潜伏表現ノード間で単調に減少する。 これは従来のPCAの非速度特性によって動機付けられ、最も重要でない主成分を廃棄して、歪みを優雅に劣化させる可変速度次元減少を実現する。 対照的に、従来のAEの潜伏変数はデータ再構成にも等しく重要であるため、AEモデルをトレーニングした後の次元をさらに小さくするために、単に捨てることはできない。 提案する確率的ボトルネックフレームワークは, トレーニング時に所定の遅延次元を必要とせず, 高い再構成性能でシームレスなレート適応を実現する。 提案したRL-AEは,従来のAEと比較して低歪みを実現しつつ,可変次元の低減を実現可能であることを実験的に実証した。

関連論文リスト

• Effort: Efficient Orthogonal Modeling for Generalizable AI-Generated Image Detection [66.16595174895802]
  既存のAI生成画像(AIGI)検出手法は、しばしば限定的な一般化性能に悩まされる。 本稿では、AIGI検出において、これまで見過ごされてきた重要な非対称性現象を同定する。
  論文  参考訳（メタデータ） (2024-11-23T19:10:32Z)
• ED-VAE: Entropy Decomposition of ELBO in Variational Autoencoders [0.850206009406913]
  変分オートエンコーダ(VAE)は、エビデンス・ロウアー・バウンド(ELBO)の定式化の制限によって制約される。 本研究は、エントロピーとクロスエントロピー成分を明示的に含むELBOの新たな再形式であるエントロピー分解変分オートエンコーダ(ED-VAE)を紹介する。
  論文  参考訳（メタデータ） (2024-07-09T12:09:21Z)
• Fast Unsupervised Tensor Restoration via Low-rank Deconvolution [0.09208007322096533]
  低ランクデコンボリューション(LRD)は、重要な効率性と柔軟性を持つ新しい多次元表現モデルとして現れている。 我々は、この分析モデルがDeep Image Prior(DIP)やBlind-Spot Networks(BSN)といったディープラーニング(DL)フレームワークと競合できるかどうかを自問する。
  論文  参考訳（メタデータ） (2024-06-15T16:04:49Z)
• Learning Point Spread Function Invertibility Assessment for Image Deconvolution [14.062542012968313]
  ニューラルネットワークを用いて任意のPSFの可逆性を学習するために非線形アプローチを用いるメトリクスを提案する。 マッピングされたPSFとユニットインパルスとの差は、DLネットワークによるインバージョンの成功率が高いことを示している。
  論文  参考訳（メタデータ） (2024-05-25T20:00:27Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Momentum Contrastive Autoencoder: Using Contrastive Learning for Latent Space Distribution Matching in WAE [51.09507030387935]
  Wasserstein autoencoder (WAE) は、2つの分布が一致することは、このAEの潜在空間が予め指定された事前分布と一致するという制約の下で、単純なオートエンコーダ(AE)損失を最小限にすることと同値であることを示している。 本稿では,この問題を解決する手段として,自己指導型表現学習に有効であることを示すコントラスト学習フレームワークを提案する。 WAEの損失を最適化するために、対照的な学習フレームワークを使用することで、WAEの一般的なアルゴリズムと比較して、より高速に収束し、より安定した最適化が達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-19T22:55:47Z)
• Disentangling Generative Factors of Physical Fields Using Variational Autoencoders [0.0]
  本研究は,非線形次元低減のための変分オートエンコーダ (VAE) の利用について検討する。 不整合分解は解釈可能であり、生成的モデリングを含む様々なタスクに転送することができる。
  論文  参考訳（メタデータ） (2021-09-15T16:02:43Z)
• To Regularize or Not To Regularize? The Bias Variance Trade-off in Regularized AEs [10.611727286504994]
  AEモデルの生成決定論的品質に及ぼす潜伏剤の影響について検討する。 我々は、FlexAEと呼ばれるモデルが、AEベースの生成モデルのための新しい最先端技術であることを示します。
  論文  参考訳（メタデータ） (2020-06-10T14:00:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。