論文の概要: ProtoVAE: Prototypical Networks for Unsupervised Disentanglement
- arxiv url: http://arxiv.org/abs/2305.09092v1
- Date: Tue, 16 May 2023 01:29:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-17 16:44:03.114360
- Title: ProtoVAE: Prototypical Networks for Unsupervised Disentanglement
- Title(参考訳): ProtoVAE:unsupervised disentanglementのためのプロトタイプネットワーク
- Authors: Vaishnavi Patil, Matthew Evanusa, Joseph JaJa
- Abstract要約: 本稿では,自己スーパービジョンを用いて学習した深層学習型プロトタイプネットワークを活用する,新しい深部生成型VAEモデルProtoVAEを提案する。
我々のモデルは、完全に教師なしであり、要素数を含むデータセットの事前知識を必要としない。
提案手法をベンチマークdSprites, 3DShapes, MPI3Dディジアングルメントデータセット上で評価した。
- 参考スコア(独自算出の注目度): 1.6114012813668934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative modeling and self-supervised learning have in recent years made
great strides towards learning from data in a completely unsupervised way.
There is still however an open area of investigation into guiding a neural
network to encode the data into representations that are interpretable or
explainable. The problem of unsupervised disentanglement is of particular
importance as it proposes to discover the different latent factors of variation
or semantic concepts from the data alone, without labeled examples, and encode
them into structurally disjoint latent representations. Without additional
constraints or inductive biases placed in the network, a generative model may
learn the data distribution and encode the factors, but not necessarily in a
disentangled way. Here, we introduce a novel deep generative VAE-based model,
ProtoVAE, that leverages a deep metric learning Prototypical network trained
using self-supervision to impose these constraints. The prototypical network
constrains the mapping of the representation space to data space to ensure that
controlled changes in the representation space are mapped to changes in the
factors of variations in the data space. Our model is completely unsupervised
and requires no a priori knowledge of the dataset, including the number of
factors. We evaluate our proposed model on the benchmark dSprites, 3DShapes,
and MPI3D disentanglement datasets, showing state of the art results against
previous methods via qualitative traversals in the latent space, as well as
quantitative disentanglement metrics. We further qualitatively demonstrate the
effectiveness of our model on the real-world CelebA dataset.
- Abstract(参考訳): 生成モデリングと自己教師型学習は、近年、完全に教師なしの方法でデータから学ぶために大きな進歩を遂げています。
しかしながら、ニューラルネットワークがデータを解釈可能または説明可能な表現にエンコードするように誘導する研究領域は、まだオープンである。
教師なし乱れの問題は特に重要であり、ラベル付き例を伴わずに、データからばらつきや意味概念の異なる潜在要素を発見し、それらを構造的に無関係な潜在表現にエンコードすることを提案する。
ネットワークに付加的な制約や帰納的バイアスが与えられなければ、生成モデルはデータ分布を学習し、要因をエンコードするが、必ずしも矛盾する必要はない。
本稿では,この制約を課すために,自己スーパービジョンを用いて訓練された深層メトリック学習型ネットワークを活用した,新しい深層生成型vaeベースモデルprotovaeを提案する。
典型的ネットワークは、表現空間からデータ空間へのマッピングを制約し、表現空間の制御された変化がデータ空間の変化の要因の変化にマッピングされることを保証する。
我々のモデルは、完全に教師なしであり、要素数を含むデータセットの事前知識を必要としない。
提案モデルをベンチマークdsprites, 3dshapes, mpi3d disentanglementデータセット上で評価し, 潜在空間における質的トラバーサルと定量的異方性指標を用いて, 従来の手法に対する技術結果を示す。
さらに,本モデルの有効性を実世界のcelebaデータセット上で定量的に実証する。
関連論文リスト
- Visual Prompting Upgrades Neural Network Sparsification: A Data-Model
Perspective [67.25782152459851]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳(メタデータ) (2023-12-03T13:50:24Z) - Fascinating Supervisory Signals and Where to Find Them: Deep Anomaly
Detection with Scale Learning [11.245813423781415]
我々は、データラベルとして特性-スケール-を導入することで、データのための新しいデータ駆動監視を考案する。
スケールは変換された表現にアタッチされたラベルとして機能し、ニューラルネットワークのトレーニングに十分なラベル付きデータを提供する。
本稿では,大規模学習に基づく異常検出手法を提案する。
論文 参考訳(メタデータ) (2023-05-25T14:48:00Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-04-03T13:13:19Z) - Towards Understanding and Mitigating Dimensional Collapse in
Heterogeneous Federated Learning [114.32726625370258]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳(メタデータ) (2022-10-01T09:04:17Z) - On Balancing Bias and Variance in Unsupervised Multi-Source-Free Domain
Adaptation [6.2200089460762085]
マルチソースフリードメイン適応(MSFDA)の方法は、典型的には、ソースモデルによって生成された擬似ラベル付きデータを使用してターゲットモデルを訓練する。
得られた対象モデルの一般化誤差に基づく情報理論境界を開発する。
次に、ドメインアグリゲーション、選択的な擬似ラベル付け、共同機能アライメントといった3つの視点から、このトレードオフのバランスをとる方法についての洞察を提供します。
論文 参考訳(メタデータ) (2022-02-01T22:34:18Z) - Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D
Object Detection [85.11649974840758]
3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。
そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
論文 参考訳(メタデータ) (2021-11-30T18:42:42Z) - Combining Discrete Choice Models and Neural Networks through Embeddings:
Formulation, Interpretability and Performance [10.57079240576682]
本研究では、ニューラルネットワーク(ANN)を用いた理論とデータ駆動選択モデルを組み合わせた新しいアプローチを提案する。
特に、分類的または離散的説明変数を符号化するために、埋め込みと呼ばれる連続ベクトル表現を用いる。
我々のモデルは最先端の予測性能を提供し、既存のANNモデルよりも優れ、必要なネットワークパラメータの数を劇的に削減します。
論文 参考訳(メタデータ) (2021-09-24T15:55:31Z) - MLDS: A Dataset for Weight-Space Analysis of Neural Networks [0.0]
MLDSは、注意深く制御されたパラメータを持つ何千ものトレーニングニューラルネットワークからなる新しいデータセットである。
このデータセットは、モデル-to-modelとモデル-to-training-data関係に関する新たな洞察を可能にする。
論文 参考訳(メタデータ) (2021-04-21T14:24:26Z) - Joint Inference of Diffusion and Structure in Partially Observed Social
Networks Using Coupled Matrix Factorization [3.399624105745357]
本稿では、部分的に観測されたデータからモデルを学び、観測されていない拡散と構造ネットワークを推定する。
提案手法では,ノードとカスケードプロセスの相互関係を,学習因子と低次元潜在因子を用いて利用した。
これらの合成および実世界のデータセットの実験により、提案手法は見えない社会行動を検出し、リンクを予測し、潜伏した特徴を識別することに成功した。
論文 参考訳(メタデータ) (2020-10-03T17:48:57Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳(メタデータ) (2020-07-07T03:36:28Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳(メタデータ) (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。