論文の概要: Invariant Representations via Wasserstein Correlation Maximization

• arxiv url: http://arxiv.org/abs/2505.11702v1
• Date: Fri, 16 May 2025 21:11:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.79067
• Title: Invariant Representations via Wasserstein Correlation Maximization
• Title（参考訳）: ワッサーシュタイン相関最大化による不変表現
• Authors: Keenan Eikenberry, Lizuo Liu, Yoonsang Lee,
• Abstract要約: 本研究では、教師なし表現学習におけるワッサースタイン相関の活用について検討する。 入力と分布の相関を最大化するために訓練された(オート)エンコーダが代わりに圧縮機として機能することがわかった。 また、最適輸送に基づく依存度測定のための様々な理論的結果も確立する。
• 参考スコア（独自算出の注目度）: 0.6554326244334866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work investigates the use of Wasserstein correlation -- a normalized measure of statistical dependence based on the Wasserstein distance between a joint distribution and the product of its marginals -- for unsupervised representation learning. Unlike, for example, contrastive methods, which naturally cluster classes in the latent space, we find that an (auto)encoder trained to maximize Wasserstein correlation between the input and encoded distributions instead acts as a compressor, reducing dimensionality while approximately preserving the topological and geometric properties of the input distribution. More strikingly, we show that Wasserstein correlation maximization can be used to arrive at an (auto)encoder -- either trained from scratch, or else one that extends a frozen, pretrained model -- that is approximately invariant to a chosen augmentation, or collection of augmentations, and that still approximately preserves the structural properties of the non-augmented input distribution. To do this, we first define the notion of an augmented encoder using the machinery of Markov-Wasserstein kernels. When the maximization objective is then applied to the augmented encoder, as opposed to the underlying, deterministic encoder, the resulting model exhibits the desired invariance properties. Finally, besides our experimental results, which show that even simple feedforward networks can be imbued with invariants or can, alternatively, be used to impart invariants to pretrained models under this training process, we additionally establish various theoretical results for optimal transport-based dependence measures. Code is available at https://github.com/keenan-eikenberry/wasserstein_correlation_maximization .
• Abstract（参考訳）: 本研究は、教師なし表現学習におけるワッサースタイン相関(ワッサースタインの分布と辺縁の積の間の距離に基づく統計依存の正規化尺度)の使用について検討する。 例えば、潜在空間において自然にクラスをクラスタ化する対照的な方法とは異なり、入力分布と符号化分布の間のワッサーシュタイン相関を最大化するために訓練された(オート)エンコーダが代わりに圧縮子として作用し、入力分布の位相的および幾何学的性質を概ね保存しながら次元性を減少させる。 より驚くべきことに、ワッサースタイン相関の最大化は、スクラッチから訓練された(オート)エンコーダや、選択された拡張や拡張の集合にほぼ不変で、まだ拡張されていない入力分布の構造的特性をほぼ保存している(フリーズ、事前訓練されたモデルの拡張)。 これを実現するために、マルコフ=ワッサーシュタイン核の機械を用いて拡張エンコーダの概念を最初に定義する。 最大化対象が拡張エンコーダに適用されると、基礎となる決定論的エンコーダとは対照的に、得られたモデルは所望の不変性を示す。 最後に, 簡単なフィードフォワードネットワークでも不変性を付与したり, あるいは, このトレーニングプロセス下で事前学習したモデルに不変性を付与することができることを示す実験結果に加えて, 最適輸送に基づく依存度測定のための様々な理論的結果も確立する。 コードはhttps://github.com/keenan-eikenberry/wasserstein_correlation_maximization で公開されている。

関連論文リスト

• Variational autoencoder with weighted samples for high-dimensional non-parametric adaptive importance sampling [0.0]
  既存のフレームワークを、新しい目的関数を導入することで、重み付けされたサンプルの場合に拡張する。 モデルに柔軟性を加え、マルチモーダル分布を学習できるようにするため、学習可能な事前分布を考える。 提案手法は,既存の適応的重要度サンプリングアルゴリズムを用いて,目標分布から点を抽出し,高次元で稀な事象確率を推定する。
  論文  参考訳（メタデータ） (2023-10-13T15:40:55Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Low-rank Characteristic Tensor Density Estimation Part II: Compression and Latent Density Estimation [31.631861197477185]
  生成確率モデルを学習することは、機械学習における中核的な問題である。 本稿では,共同次元化と非パラメトリック密度推定の枠組みを提案する。 提案手法は, 回帰処理, サンプリング, 異常検出において, 極めて有望な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-06-20T00:38:56Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains [34.77971292478243]
  変分オートエンコーダ(VAE)は、オートエンコーダのようなアーキテクチャで2つのニューラルネットワークを持つ、潜伏変数モデルである。 ログ型勾配の偏りのない推定器を導入することにより,VAEのトレーニング手法を開発する。 偏りのない推定器を装着したVAEは予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-10-05T08:11:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。