論文の概要: Information-Preserving Contrastive Learning for Self-Supervised Representations

• arxiv url: http://arxiv.org/abs/2012.09962v2
• Date: Wed, 17 Feb 2021 16:53:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-02 09:37:01.542118
• Title: Information-Preserving Contrastive Learning for Self-Supervised Representations
• Title（参考訳）: 自己教師付き表現のための情報保存コントラスト学習
• Authors: Tianhong Li, Lijie Fan, Yuan Yuan, Hao He, Yonglong Tian, Dina Katabi
• Abstract要約: 対照学習は、監督なしで有用な表現を学ぶのに非常に効果的です。 下流のタスクとは無関係なショートカットを学び、関連する情報を破棄することがあります。 本稿では,教師なし表現学習の新しい枠組みである情報保存コントラスト学習(IPCL)を提案する。
• 参考スコア（独自算出の注目度）: 42.74927142208983
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning is very effective at learning useful representations without supervision. Yet contrastive learning has its limitations. It may learn a shortcut that is irrelevant to the downstream task, and discard relevant information. Past work has addressed this limitation via custom data augmentations that eliminate the shortcut. This solution however does not work for data modalities that are not interpretable by humans, e.g., radio signals. For such modalities, it is hard for a human to guess which shortcuts may exist in the signal, or how they can be eliminated. Even for interpretable data, sometimes eliminating the shortcut may be undesirable. The shortcut may be irrelevant to one downstream task but important to another. In this case, it is desirable to learn a representation that captures both the shortcut information and the information relevant to the other downstream task. This paper presents information-preserving contrastive learning (IPCL), a new framework for unsupervised representation learning that preserves relevant information even in the presence of shortcuts. We empirically show that the representations learned by IPCL outperforms contrastive learning in supporting different modalities and multiple diverse downstream tasks.
• Abstract（参考訳）: 対照的な学習は、監督なしで有用な表現を学ぶのに非常に効果的である。 しかし、対照的な学習には限界がある。 下流タスクとは無関係なショートカットを学習し、関連する情報を破棄する。 過去の研究は、ショートカットをなくすカスタムデータ拡張によって、この制限に対処してきた。 しかし、このソリューションは、例えば、無線信号など、人間が解釈できないデータモダリティでは機能しない。 このようなモダリティに対して、信号にどのショートカットが存在するか、どのように排除できるかを人間が推測することは困難である。 解釈可能なデータであっても、時々ショートカットを削除するのは望ましくない。 ショートカットはダウンストリームタスクとは無関係かもしれないが、他のタスクにとって重要である。 この場合、ショートカット情報と他のダウンストリームタスクに関連する情報の両方をキャプチャする表現を学習することが望ましい。 本稿では,情報保存コントラスト学習(IPCL)について述べる。 実験により,IPCLが学習した表現は,異なるモダリティと複数の下流タスクをサポートする上で,比較学習よりも優れることを示した。

関連論文リスト

• Exposing Image Classifier Shortcuts with Counterfactual Frequency (CoF) Tables [0.0]
  「ショートカット」は、新しいデータへの一般化に失敗するトレーニングデータから簡単に学習できるパターンである。 例えば、馬を認識するための著作権の透かし、ハスキーを認識するための雪の背景、悪性皮膚病変を検出するためのインクマーキングなどである。 我々は、グローバルな洞察にインスタンスベースの説明を集約する新しいアプローチである、対実周波数表を導入する。
  論文  参考訳（メタデータ） (2024-05-24T15:58:02Z)
• Demonstrating and Reducing Shortcuts in Vision-Language Representation Learning [57.4893889206655]
  本稿では,視覚言語のための合成ショートカットについて紹介する。 我々は,これらの合成ショートカットを含むデータを用いて,スクラッチや微調整で訓練された対照的なVLMが,主にショートカットを表す特徴を学習していることを示す。
  論文  参考訳（メタデータ） (2024-02-27T13:50:34Z)
• TACO: Temporal Latent Action-Driven Contrastive Loss for Visual Reinforcement Learning [73.53576440536682]
  時間的行動駆動型コントラスト学習(TACO: Temporal Action-driven Contrastive Learning)は、時間的コントラスト学習の強力なアプローチである。 TACOは、現在の状態の表現間の相互情報を最適化することにより、状態と行動表現を同時に学習する。 オンラインRLでは、TACOは100万の環境インタラクションステップの後、40%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2023-06-22T22:21:53Z)
• Ignorance is Bliss: Robust Control via Information Gating [60.17644038829572]
  情報パーシモニーは、ノイズや突発的相関に頑健であることにより、より良い一般化を実現する学習表現に有用な帰納的バイアスを提供する。 本稿では,タスクに必要な最小限の情報を識別する類似表現を学習する手段として,テキスト情報ゲーティングを提案する。
  論文  参考訳（メタデータ） (2023-03-10T18:31:50Z)
• Which Shortcut Solution Do Question Answering Models Prefer to Learn? [38.36299280464046]
  質問応答(QA)モデルは、QAデータセットが意図したソリューションではなく、ショートカットソリューションを学ぶ傾向がある。 抽出および複数選択QAにおいて,回答位置と単語ラベル相関を利用したショートカットが優先的に学習されていることを示す。 我々は,ショートカットの学習性を利用して効果的なQA学習セットを構築することを実験的に示す。
  論文  参考訳（メタデータ） (2022-11-29T13:57:59Z)
• Rethinking Minimal Sufficient Representation in Contrastive Learning [28.83450836832452]
  対照的な学習モデルでは、ビュー間の共有情報に過度に適合するリスクがあることが示される。 本稿では,タスク関連情報を概ね導入するために,正規化として表現と入力の相互情報を増やすことを提案する。 下流タスクにおける古典的コントラスト学習モデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-03-14T11:17:48Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• Evolving Losses for Unsupervised Video Representation Learning [91.2683362199263]
  大規模未ラベル映像データから映像表現を学習する新しい手法を提案する。 提案した教師なし表現学習では,単一のRGBネットワークが実現し,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-02-26T16:56:07Z)
• Self-supervised visual feature learning with curriculum [0.24366811507669126]
  本稿では,カリキュラム学習からインスピレーションを得て,段階的に低レベル信号を除去する。 その結果,下流タスクの収束速度は著しく向上した。
  論文  参考訳（メタデータ） (2020-01-16T03:28:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。