論文の概要: Relative representations enable zero-shot latent space communication
- arxiv url: http://arxiv.org/abs/2209.15430v1
- Date: Fri, 30 Sep 2022 12:37:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 14:41:13.379475
- Title: Relative representations enable zero-shot latent space communication
- Title(参考訳): 相対表現はゼロショット潜在空間通信を可能にする
- Authors: Luca Moschella, Valentino Maiorca, Marco Fumero, Antonio Norelli,
Francesco Locatello, Emanuele Rodol\`a
- Abstract要約: ニューラルネットワークは、高次元空間に横たわるデータ多様体の幾何学的構造を潜在表現に埋め込む。
ニューラルネットワークがこれらの相対表現をどのように活用して、実際に潜時等尺不変性を保証するかを示す。
- 参考スコア(独自算出の注目度): 19.144630518400604
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks embed the geometric structure of a data manifold lying in a
high-dimensional space into latent representations. Ideally, the distribution
of the data points in the latent space should depend only on the task, the
data, the loss, and other architecture-specific constraints. However, factors
such as the random weights initialization, training hyperparameters, or other
sources of randomness in the training phase may induce incoherent latent spaces
that hinder any form of reuse. Nevertheless, we empirically observe that, under
the same data and modeling choices, distinct latent spaces typically differ by
an unknown quasi-isometric transformation: that is, in each space, the
distances between the encodings do not change. In this work, we propose to
adopt pairwise similarities as an alternative data representation, that can be
used to enforce the desired invariance without any additional training. We show
how neural architectures can leverage these relative representations to
guarantee, in practice, latent isometry invariance, effectively enabling latent
space communication: from zero-shot model stitching to latent space comparison
between diverse settings. We extensively validate the generalization capability
of our approach on different datasets, spanning various modalities (images,
text, graphs), tasks (e.g., classification, reconstruction) and architectures
(e.g., CNNs, GCNs, transformers).
- Abstract(参考訳): ニューラルネットワークは、高次元空間に横たわるデータ多様体の幾何学的構造を潜在表現に埋め込む。
理想的には、潜在空間におけるデータポイントの分布は、タスク、データ、損失、その他のアーキテクチャ固有の制約にのみ依存すべきである。
しかしながら、トレーニングフェーズにおけるランダムウェイトの初期化やトレーニングハイパーパラメータ、その他のランダムなソースなどの要因は、いかなる形態の再利用も妨げる一貫性のない潜在空間を誘導する可能性がある。
それにもかかわらず、同じデータとモデリングの選択の下では、異なる潜在空間は一般に未知の準等尺変換によって異なる:すなわち、各空間において、エンコーディング間の距離は変化しない。
本研究では,追加のトレーニングを必要とせず,所望の不変性を実現するための代替データ表現としてペアワイズ類似性を導入することを提案する。
ニューラルネットワークがこれらの相対表現を利用して、実際には潜時等距離不変性を保証し、ゼロショットモデル縫合から様々な設定間の潜時空間比較まで、効果的に潜時空間通信を可能にする方法を示す。
我々は,異なるデータセットに対するアプローチの一般化能力を広く検証し,様々なモダリティ(画像,テキスト,グラフ),タスク(分類,再構築),アーキテクチャ(CNN,GCN,変換器など)にまたがる。
関連論文リスト
- Efficient Large-scale Nonstationary Spatial Covariance Function
Estimation Using Convolutional Neural Networks [3.5455896230714194]
非定常データからサブリージョンを導出するためにConvNetsを使用します。
定常場に類似した振る舞いを示す部分領域を同定するために選択機構を用いる。
提案手法の性能を大規模に評価する。
論文 参考訳(メタデータ) (2023-06-20T12:17:46Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-04-03T13:13:19Z) - Towards Understanding and Mitigating Dimensional Collapse in
Heterogeneous Federated Learning [114.32726625370258]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳(メタデータ) (2022-10-01T09:04:17Z) - Few Shot Generative Model Adaption via Relaxed Spatial Structural
Alignment [130.84010267004803]
限られたデータでGAN(Generative Adversarial Network)を訓練することは難しい課題である。
実現可能な解決策は、大規模なソースドメインで十分に訓練されたGANから始め、ターゲットドメインにいくつかのサンプルで適応することである。
本研究では,適応時の対象生成モデルのキャリブレーションを行うための緩和された空間構造アライメント手法を提案する。
論文 参考訳(メタデータ) (2022-03-06T14:26:25Z) - Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。
提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。
我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
論文 参考訳(メタデータ) (2021-11-25T17:33:12Z) - The Geometry of Deep Generative Image Models and its Applications [0.0]
generative adversarial networks (gans) は、実世界のデータセットの統計パターンをモデル化する強力な教師なし手法として登場した。
これらのネットワークは、潜在空間内のランダムな入力を学習データを表す新しいサンプルにマップするように訓練される。
潜在空間の構造は、その高い寸法性と発電機の非線形性のために内挿しが困難である。
論文 参考訳(メタデータ) (2021-01-15T07:57:33Z) - Evidential Sparsification of Multimodal Latent Spaces in Conditional
Variational Autoencoders [63.46738617561255]
訓練された条件付き変分オートエンコーダの離散潜時空間をスパース化する問題を考察する。
顕在的理論を用いて、特定の入力条件から直接証拠を受け取る潜在クラスを特定し、そうでないクラスをフィルタリングする。
画像生成や人間の行動予測などの多様なタスクの実験により,提案手法の有効性を実証した。
論文 参考訳(メタデータ) (2020-10-19T01:27:21Z) - Generative Model without Prior Distribution Matching [26.91643368299913]
変分オートエンコーダ(VAE)とその変分は、いくつかの先行分布を満たすために低次元の潜在表現を学習することによって古典的な生成モデルである。
我々は、先行変数に適合させるのではなく、先行変数が埋め込み分布と一致するように提案する。
論文 参考訳(メタデータ) (2020-09-23T09:33:24Z) - Autoencoder Image Interpolation by Shaping the Latent Space [12.482988592988868]
オートエンコーダは、異なるタイプのデータセットを特徴付ける基礎となる要因を計算するための効果的なアプローチである。
トレーニング画像と整合した多様体に従うために潜在表現を形作る正規化手法を提案する。
論文 参考訳(メタデータ) (2020-08-04T12:32:54Z) - Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。
非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。
実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
論文 参考訳(メタデータ) (2020-03-07T01:56:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。