論文の概要: Conditional Contrastive Learning: Removing Undesirable Information in Self-Supervised Representations

• arxiv url: http://arxiv.org/abs/2106.02866v1
• Date: Sat, 5 Jun 2021 10:51:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 17:56:04.118246
• Title: Conditional Contrastive Learning: Removing Undesirable Information in Self-Supervised Representations
• Title（参考訳）: 条件付きコントラスト学習:自己教師付き表現における望ましくない情報除去
• Authors: Yao-Hung Hubert Tsai, Martin Q. Ma, Han Zhao, Kun Zhang, Louis-Philippe Morency, Ruslan Salakhutdinov
• Abstract要約: 我々は,自己指導型表現において望ましくない情報を除去するために,条件付きコントラスト学習を開発する。 提案手法は,下流タスクの自己教師付き表現をうまく学習できることを実証的に実証する。
• 参考スコア（独自算出の注目度）: 108.29288034509305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning is a form of unsupervised learning that leverages rich information in data to learn representations. However, data sometimes contains certain information that may be undesirable for downstream tasks. For instance, gender information may lead to biased decisions on many gender-irrelevant tasks. In this paper, we develop conditional contrastive learning to remove undesirable information in self-supervised representations. To remove the effect of the undesirable variable, our proposed approach conditions on the undesirable variable (i.e., by fixing the variations of it) during the contrastive learning process. In particular, inspired by the contrastive objective InfoNCE, we introduce Conditional InfoNCE (C-InfoNCE), and its computationally efficient variant, Weak-Conditional InfoNCE (WeaC-InfoNCE), for conditional contrastive learning. We demonstrate empirically that our methods can successfully learn self-supervised representations for downstream tasks while removing a great level of information related to the undesirable variables. We study three scenarios, each with a different type of undesirable variables: task-irrelevant meta-information for self-supervised speech representation learning, sensitive attributes for fair representation learning, and domain specification for multi-domain visual representation learning.
• Abstract（参考訳）: 自己教師学習は、データ中の豊富な情報を利用して表現を学習する教師なし学習の一種である。 しかし、データはダウンストリームタスクでは望ましくない情報を含むことがある。 例えば、性別情報は、多くの性別関連タスクにおいて偏りのある決定につながる可能性がある。 本稿では,自己教師型表現における望ましくない情報を除去する条件付きコントラスト学習を開発する。 好ましくない変数の効果を除去するため,提案手法は学習過程において望ましくない変数(すなわち,その変動を固定することにより)にアプローチする。 特に、比較対象InfoNCEにヒントを得て、条件付きコントラスト学習のための条件付きInfoNCE(C-InfoNCE)とその計算効率の良い変種Weak-ConditionalInfoNCE(WeaC-InfoNCE)を紹介する。 我々は,提案手法が下流タスクの自己教師あり表現を学習し,好ましくない変数に関連する膨大なレベルの情報を除去できることを実証的に示す。 それぞれが望ましくない変数を持つ3つのシナリオについて検討した: 自己教師付き音声表現学習のためのタスク非関連メタ情報、公正表現学習のための繊細な属性、多領域視覚表現学習のためのドメイン仕様。

関連論文リスト

• Leveraging Superfluous Information in Contrastive Representation Learning [0.0]
  従来のコントラスト学習フレームワークには,過剰な情報が存在することを示す。 我々は,予測情報と過剰情報の両方を線形に組み合わせることで,ロバストな表現を学習するための新しい目的,すなわちSuperInfoを設計する。 我々は、画像分類、オブジェクト検出、インスタンス分割タスクにおいて、従来のコントラスト学習アプローチよりも優れていることをしばしば示している。
  論文  参考訳（メタデータ） (2024-08-19T16:21:08Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Ignorance is Bliss: Robust Control via Information Gating [60.17644038829572]
  情報パーシモニーは、ノイズや突発的相関に頑健であることにより、より良い一般化を実現する学習表現に有用な帰納的バイアスを提供する。 本稿では,タスクに必要な最小限の情報を識別する類似表現を学習する手段として,テキスト情報ゲーティングを提案する。
  論文  参考訳（メタデータ） (2023-03-10T18:31:50Z)
• FUNCK: Information Funnels and Bottlenecks for Invariant Representation Learning [7.804994311050265]
  データから不変表現を学習すると主張する一連の関連する情報漏えいとボトルネック問題について検討する。 本稿では,この情報理論の目的である「側情報付き条件付きプライバシ・ファンネル」の新たな要素を提案する。 一般に難解な目的を考慮し、ニューラルネットワークによってパラメータ化された補正変分推論を用いて、抽出可能な近似を導出する。
  論文  参考訳（メタデータ） (2022-11-02T19:37:55Z)
• Rethinking Minimal Sufficient Representation in Contrastive Learning [28.83450836832452]
  対照的な学習モデルでは、ビュー間の共有情報に過度に適合するリスクがあることが示される。 本稿では,タスク関連情報を概ね導入するために,正規化として表現と入力の相互情報を増やすことを提案する。 下流タスクにおける古典的コントラスト学習モデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-03-14T11:17:48Z)
• Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
  逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。 望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。 変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-16T00:15:18Z)
• Explainable Recommender Systems via Resolving Learning Representations [57.24565012731325]
  説明はユーザー体験を改善し、システムの欠陥を発見するのに役立つ。 本稿では,表現学習プロセスの透明性を向上させることによって,説明可能な新しい推薦モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-21T05:30:48Z)
• Fairness by Learning Orthogonal Disentangled Representations [50.82638766862974]
  不変表現問題に対する新しい非絡み合い手法を提案する。 エントロピーによりセンシティブな情報に依存しない有意義な表現を強制する。 提案手法は5つの公開データセットで評価される。
  論文  参考訳（メタデータ） (2020-03-12T11:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。