論文の概要: Self-Supervised Learning with Data Augmentations Provably Isolates Content from Style

• arxiv url: http://arxiv.org/abs/2106.04619v1
• Date: Tue, 8 Jun 2021 18:18:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 15:34:45.416225
• Title: Self-Supervised Learning with Data Augmentations Provably Isolates Content from Style
• Title（参考訳）: データ拡張による自己教師付き学習は,コンテンツからスタイルを分離する
• Authors: Julius von K\"ugelgen, Yash Sharma, Luigi Gresele, Wieland Brendel, Bernhard Sch\"olkopf, Michel Besserve, Francesco Locatello
• Abstract要約: 我々は拡張過程を潜在変数モデルとして定式化する。 本研究では,2対の観測結果に基づいて,潜在表現の識別可能性について検討した。 Causal3DIdentは、因果関係が豊富な高次元、視覚的に複雑な画像のデータセットである。
• 参考スコア（独自算出の注目度）: 32.20957709045773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised representation learning has shown remarkable success in a number of domains. A common practice is to perform data augmentation via hand-crafted transformations intended to leave the semantics of the data invariant. We seek to understand the empirical success of this approach from a theoretical perspective. We formulate the augmentation process as a latent variable model by postulating a partition of the latent representation into a content component, which is assumed invariant to augmentation, and a style component, which is allowed to change. Unlike prior work on disentanglement and independent component analysis, we allow for both nontrivial statistical and causal dependencies in the latent space. We study the identifiability of the latent representation based on pairs of views of the observations and prove sufficient conditions that allow us to identify the invariant content partition up to an invertible mapping in both generative and discriminative settings. We find numerical simulations with dependent latent variables are consistent with our theory. Lastly, we introduce Causal3DIdent, a dataset of high-dimensional, visually complex images with rich causal dependencies, which we use to study the effect of data augmentations performed in practice.
• Abstract（参考訳）: 自己教師付き表現学習は多くの領域で顕著な成功を示している。 一般的な方法は、データのセマンティクスを不変にすることを意図した手作り変換によってデータ拡張を行うことである。 我々はこのアプローチの実証的な成功を理論的観点から理解しようとしている。 本稿では,拡張に不変と仮定されるコンテンツコンポーネントと変更可能なスタイルコンポーネントに,潜在表現の分割を仮定することにより,拡張プロセスを潜在変数モデルとして定式化する。 アンタングル化と独立成分分析に関する以前の研究とは異なり、潜在空間における非自明な統計的および因果的依存関係を許容する。 本研究では、観測結果の対のビューに基づいて潜在表現の識別可能性について検討し、生成的および識別的両方の設定において、不変コンテンツ分割を可逆写像まで特定できる十分な条件を示す。 従属変数を持つ数値シミュレーションは我々の理論と一致している。 最後に,高次元で視覚的に複雑な画像のデータセットであるcausal3didentを導入する。

関連論文リスト

• Revealing Multimodal Contrastive Representation Learning through Latent Partial Causal Models [85.67870425656368]
  マルチモーダルデータに特化して設計された統一因果モデルを提案する。 マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。 実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Identifying Weight-Variant Latent Causal Models [82.14087963690561]
  推移性は潜在因果表現の識別性を阻害する重要な役割を担っている。 いくつかの軽微な仮定の下では、潜伏因果表現が自明な置換とスケーリングまで特定可能であることを示すことができる。 本稿では,その間の因果関係や因果関係を直接学習する構造的caUsAl変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2022-08-30T11:12:59Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)
• NestedVAE: Isolating Common Factors via Weak Supervision [45.366986365879505]
  我々は、バイアス低減の課題と、ドメイン間で共通する分離要因の関係を同定する。 共通因子を分離するために、潜伏変数モデルの理論と情報ボトルネック理論を組み合わせる。 共有重みを持つ2つの外部VAEは入力を再構成し、潜伏空間を推論し、一方、ネストされたVAEはペア化された画像の潜伏表現から1つの画像の潜伏表現を再構成しようとする。
  論文  参考訳（メタデータ） (2020-02-26T15:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。