論文の概要: Contrastive Learning Inverts the Data Generating Process

• arxiv url: http://arxiv.org/abs/2102.08850v1
• Date: Wed, 17 Feb 2021 16:21:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-18 14:45:05.282138
• Title: Contrastive Learning Inverts the Data Generating Process
• Title（参考訳）: コントラスト学習はデータ生成プロセスを反転させる
• Authors: Roland S. Zimmermann, Yash Sharma, Steffen Schneider, Matthias Bethge, Wieland Brendel
• Abstract要約: 一般に使用されるインフォアンスファミリーに属する目標で訓練されたフィードフォワードモデルは、観測データの基底となる生成モデルを暗黙的に反転させることを学習する。 本理論は, コントラスト学習, 生成モデル, 非線形独立成分分析の基本的な関係を明らかにする。
• 参考スコア（独自算出の注目度）: 36.30995987986073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning has recently seen tremendous success in self-supervised learning. So far, however, it is largely unclear why the learned representations generalize so effectively to a large variety of downstream tasks. We here prove that feedforward models trained with objectives belonging to the commonly used InfoNCE family learn to implicitly invert the underlying generative model of the observed data. While the proofs make certain statistical assumptions about the generative model, we observe empirically that our findings hold even if these assumptions are severely violated. Our theory highlights a fundamental connection between contrastive learning, generative modeling, and nonlinear independent component analysis, thereby furthering our understanding of the learned representations as well as providing a theoretical foundation to derive more effective contrastive losses.
• Abstract（参考訳）: コントラスト学習は最近、自己監督学習で大きな成功を収めています。 しかし、これまでのところ、なぜ学習された表現が多くの下流タスクに効果的に一般化するのかは、ほとんど不明である。 ここでは,よく使われるインフォアンスファミリーに属する対象を訓練したフィードフォワードモデルが,観測データの基底となる生成モデルを暗黙的に反転させることを実証する。 証明は生成モデルについて一定の統計的仮定を与えるが、これらの仮定が厳しく破られたとしても、我々の発見は実証的に成り立つことを観察する。 本理論は, コントラスト学習, 生成モデル, 非線形独立成分分析の基本的な関係を強調し, 学習表現の理解を深めるとともに, より効果的なコントラスト的損失を導出するための理論的基盤を提供する。

関連論文リスト

• Cross-Entropy Is All You Need To Invert the Data Generating Process [29.94396019742267]
  経験的現象は、教師付きモデルが線形な方法で変化の解釈可能な要因を学習できることを示唆している。 近年の自己教師型学習の進歩により,データ生成過程を反転させることで潜在構造を復元できることが示されている。 標準分類タスクにおいても,モデルが線形変換までの変動の基底構造因子の表現を学習することが証明された。
  論文  参考訳（メタデータ） (2024-10-29T09:03:57Z)
• Heterogeneous Contrastive Learning for Foundation Models and Beyond [73.74745053250619]
  ビッグデータと人工知能の時代において、新しいパラダイムは、大規模な異種データをモデル化するために、対照的な自己教師付き学習を活用することである。 本調査は基礎モデルの異種コントラスト学習の現況を批判的に評価する。
  論文  参考訳（メタデータ） (2024-03-30T02:55:49Z)
• Revealing Multimodal Contrastive Representation Learning through Latent Partial Causal Models [85.67870425656368]
  マルチモーダルデータに特化して設計された統一因果モデルを提案する。 マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。 実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Specify Robust Causal Representation from Mixed Observations [35.387451486213344]
  観測から純粋に表現を学習することは、予測モデルに有利な低次元のコンパクトな表現を学習する問題を懸念する。 本研究では,観測データからこのような表現を学習するための学習手法を開発した。 理論的および実験的に、学習された因果表現で訓練されたモデルは、敵の攻撃や分布シフトの下でより堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-10-21T02:18:35Z)
• A Theoretical Study of Inductive Biases in Contrastive Learning [32.98250585760665]
  モデルクラスから派生した帰納的バイアスの効果を取り入れた,自己指導型学習に関する最初の理論的分析を行った。 モデルが限られたキャパシティを持つ場合、コントラスト表現はモデルアーキテクチャと互換性のある特定のクラスタリング構造を復元することを示す。
  論文  参考訳（メタデータ） (2022-11-27T01:53:29Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• Which Mutual-Information Representation Learning Objectives are Sufficient for Control? [80.2534918595143]
  相互情報は、データの表現を学習するために魅力的な形式を提供する。 本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。 意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-14T10:12:34Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Quantifying and Mitigating Privacy Risks of Contrastive Learning [4.909548818641602]
  我々は、会員推定と属性推論のレンズを通して、コントラスト学習の最初のプライバシ分析を行う。 その結果,コントラストモデルではメンバシップ推論攻撃に弱いが,教師付きモデルに比べて属性推論攻撃に弱いことが示唆された。 この状況を改善するため,プライバシ保護型コントラスト学習機構であるTalosを提案する。
  論文  参考訳（メタデータ） (2021-02-08T11:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。