論文の概要: Self-Supervised Variational Auto-Encoders

• arxiv url: http://arxiv.org/abs/2010.02014v2
• Date: Tue, 6 Oct 2020 08:20:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 20:48:04.823821
• Title: Self-Supervised Variational Auto-Encoders
• Title（参考訳）: 自己監督型変分オートエンコーダ
• Authors: Ioannis Gatopoulos and Jakub M. Tomczak
• Abstract要約: 自己教師付き変分自動エンコーダ(self-supervised Variational Auto-Encoder)と呼ばれる新しい生成モデルについて述べる。 このモデルのクラスは、目的関数を単純化しながら、条件付きサンプリングと条件なしサンプリングの両方を実行することができる。 本稿では,3つのベンチマーク画像データ(Cifar10, Imagenette64, CelebA)に対する提案手法の性能について述べる。
• 参考スコア（独自算出の注目度）: 10.482805367361818
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Density estimation, compression and data generation are crucial tasks in artificial intelligence. Variational Auto-Encoders (VAEs) constitute a single framework to achieve these goals. Here, we present a novel class of generative models, called self-supervised Variational Auto-Encoder (selfVAE), that utilizes deterministic and discrete variational posteriors. This class of models allows to perform both conditional and unconditional sampling, while simplifying the objective function. First, we use a single self-supervised transformation as a latent variable, where a transformation is either downscaling or edge detection. Next, we consider a hierarchical architecture, i.e., multiple transformations, and we show its benefits compared to the VAE. The flexibility of selfVAE in data reconstruction finds a particularly interesting use case in data compression tasks, where we can trade-off memory for better data quality, and vice-versa. We present performance of our approach on three benchmark image data (Cifar10, Imagenette64, and CelebA).
• Abstract（参考訳）: 密度推定、圧縮、データ生成は人工知能の重要なタスクである。 変分自動エンコーダ(VAE)は、これらの目標を達成するための単一のフレームワークである。 本稿では,自己教師付き変分オートエンコーダ(self-supervised variational auto-encoder,selfvae)と呼ばれる,決定論的・離散的変分後部モデルについて述べる。 このタイプのモデルは、目的関数を単純化しながら条件付きサンプリングと無条件サンプリングの両方を実行することができる。 まず、単一の自己教師付き変換を潜在変数として使用し、変換はダウンスケーリングかエッジ検出のいずれかである。 次に、階層的なアーキテクチャ、すなわち複数の変換を検討し、VAEと比較してその利点を示します。 データ再構成における自己VAEの柔軟性は、データ圧縮タスクにおいて特に興味深いユースケースを見つけます。 本稿では,3つのベンチマーク画像データ(Cifar10, Imagenette64, CelebA)にアプローチの有効性を示す。

関連論文リスト

• Variational Autoencoding Neural Operators [17.812064311297117]
  関数型データによる教師なし学習は、コンピュータビジョン、気候モデリング、物理システムへの応用を含む機械学習研究の新たなパラダイムである。 本稿では,大規模な演算子学習アーキテクチャを変分オートエンコーダとして機能させる汎用戦略として,変分オートエンコードニューラル演算子(VANO)を提案する。
  論文  参考訳（メタデータ） (2023-02-20T22:34:43Z)
• Unifying Flow, Stereo and Depth Estimation [121.54066319299261]
  本稿では3つの動作と3次元知覚タスクのための統一的な定式化とモデルを提案する。 これら3つのタスクを、統一された高密度対応マッチング問題として定式化する。 我々のモデルは、モデルアーキテクチャとパラメータがタスク間で共有されているため、自然にクロスタスク転送を可能にします。
  論文  参考訳（メタデータ） (2022-11-10T18:59:54Z)
• Patch Similarity Aware Data-Free Quantization for Vision Transformers [2.954890575035673]
  Patch similarity Aware data-free Quantization framework for Vision Transformersを提案する。 本研究では,ガウス雑音と実画像の処理において,自己アテンションモジュールの特性を解析し,一般的な相違点(パッチ類似点)を明らかにする。 PSAQ-ViTの有効性を検証するため,様々なベンチマークで実験およびアブレーション実験を行った。
  論文  参考訳（メタデータ） (2022-03-04T11:47:20Z)
• ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Beyond [76.35955924137986]
  我々は、内在性IBを畳み込み、すなわちViTAEから探索するビジョントランスフォーマーを提案する。 ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。 我々は、ImageNet検証セット上で88.5%のTop-1分類精度と、ImageNet実検証セット上で最高の91.2%のTop-1分類精度を得る。
  論文  参考訳（メタデータ） (2022-02-21T10:40:05Z)
• Dizygotic Conditional Variational AutoEncoder for Multi-Modal and Partial Modality Absent Few-Shot Learning [19.854565192491123]
  ディジゴティック条件変分オートエンコーダ(DCVAE)と呼ばれる新しいマルチモーダルデータ拡張手法を提案する。 DCVAEは、2つの条件変分オートエンコーダ(CVAE)を同じシードでペアリングすることで特徴合成を行うが、ジジゴティック共生方式では異なるモダリティ条件を行う。 2つのCVAEの生成した特徴を適応的に組み合わせて最終特徴を与える。
  論文  参考訳（メタデータ） (2021-06-28T08:29:55Z)
• Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
  変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。 情報不足と後部崩壊という2つの課題に悩まされている。 本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
  論文  参考訳（メタデータ） (2021-06-16T06:36:26Z)
• Multi-Facet Clustering Variational Autoencoders [9.150555507030083]
  画像などの高次元データは通常、クラスタリング可能な複数の興味深い特徴を特徴付ける。 MFCVAE(Multi-Facet Clustering Variational Autoencoders)を導入する。 MFCVAEは複数のクラスタリングを同時に学習し、完全に教師なしでエンドツーエンドで訓練されている。
  論文  参考訳（メタデータ） (2021-06-09T17:36:38Z)
• Analogous to Evolutionary Algorithm: Designing a Unified Sequence Model [58.17021225930069]
  実演的進化アルゴリズム(EA)と類似した視覚変換器の合理性について説明する。 我々は、より効率的なEATモデルを提案し、様々なタスクに柔軟に対処するタスク関連ヘッドを設計する。 近年のビジョントランスに比べて,イメージネット分類作業における最先端の成果が得られている。
  論文  参考訳（メタデータ） (2021-05-31T16:20:03Z)
• Consistency Regularization for Variational Auto-Encoders [14.423556966548544]
  変分自動エンコーダ(VAE)は教師なし学習の強力なアプローチである。 本稿では,VAEの整合性を強制する正規化手法を提案する。
  論文  参考訳（メタデータ） (2021-05-31T10:26:32Z)
• IOT: Instance-wise Layer Reordering for Transformer Structures [173.39918590438245]
  トランスフォーマの固定層順序の仮定を分解し,モデル構造にインスタンス単位の層順序変更を導入する。 当社の手法はTransformer以外のアーキテクチャにも適用可能です。
  論文  参考訳（メタデータ） (2021-03-05T03:44:42Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。