論文の概要: Rethinking Minimal Sufficient Representation in Contrastive Learning

• arxiv url: http://arxiv.org/abs/2203.07004v1
• Date: Mon, 14 Mar 2022 11:17:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-15 15:57:40.704253
• Title: Rethinking Minimal Sufficient Representation in Contrastive Learning
• Title（参考訳）: コントラスト学習における最小表現の再考
• Authors: Haoqing Wang, Xun Guo, Zhi-Hong Deng, Yan Lu
• Abstract要約: 対照的な学習モデルでは、ビュー間の共有情報に過度に適合するリスクがあることが示される。 本稿では,タスク関連情報を概ね導入するために,正規化として表現と入力の相互情報を増やすことを提案する。 下流タスクにおける古典的コントラスト学習モデルの性能を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 28.83450836832452
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning between different views of the data achieves outstanding success in the field of self-supervised representation learning and the learned representations are useful in broad downstream tasks. Since all supervision information for one view comes from the other view, contrastive learning approximately obtains the minimal sufficient representation which contains the shared information and eliminates the non-shared information between views. Considering the diversity of the downstream tasks, it cannot be guaranteed that all task-relevant information is shared between views. Therefore, we assume the non-shared task-relevant information cannot be ignored and theoretically prove that the minimal sufficient representation in contrastive learning is not sufficient for the downstream tasks, which causes performance degradation. This reveals a new problem that the contrastive learning models have the risk of over-fitting to the shared information between views. To alleviate this problem, we propose to increase the mutual information between the representation and input as regularization to approximately introduce more task-relevant information, since we cannot utilize any downstream task information during training. Extensive experiments verify the rationality of our analysis and the effectiveness of our method. It significantly improves the performance of several classic contrastive learning models in downstream tasks. Our code is available at \url{https://github.com/Haoqing-Wang/InfoCL}.
• Abstract（参考訳）: データの異なるビュー間のコントラスト学習は、自己教師付き表現学習の分野で顕著な成功を収め、学習された表現は幅広い下流タスクに有用である。 一方の視点に対するすべての監督情報が他方の視点から来るため、コントラスト学習は、共有情報を含む最小の十分な表現を得て、ビュー間の非共有情報を排除する。 下流タスクの多様性を考えると、すべてのタスク関連情報がビュー間で共有されることは保証できない。 したがって、非共有タスク関連情報は無視できないと仮定し、比較学習における最小限の表現が下流タスクに十分でないことを理論的に証明し、性能劣化を引き起こす。 これは、対照的な学習モデルがビュー間の共有情報に過剰適合するリスクを持つ新しい問題を明らかにする。 そこで本研究では,学習中にダウンストリームタスク情報を利用することができないため,表現と入力の相互情報を正規化として増やし,タスク関連情報を概ね導入することを提案する。 広範な実験により解析の合理性と方法の有効性が検証された。 下流タスクにおける古典的コントラスト学習モデルの性能を大幅に向上させる。 私たちのコードは \url{https://github.com/Haoqing-Wang/InfoCL} で利用可能です。

関連論文リスト

• Multimodal Information Bottleneck for Deep Reinforcement Learning with Multiple Sensors [10.454194186065195]
  強化学習はロボット制御タスクにおいて有望な成果を上げてきたが、情報の有効活用に苦慮している。 最近の研究は、複数の感覚入力から関節表現を抽出するために、再構成や相互情報に基づく補助的損失を構築している。 生のマルチモーダル観測について,学習した共同表現で情報を圧縮することが有用である。
  論文  参考訳（メタデータ） (2024-10-23T04:32:37Z)
• Leveraging Superfluous Information in Contrastive Representation Learning [0.0]
  従来のコントラスト学習フレームワークには,過剰な情報が存在することを示す。 我々は,予測情報と過剰情報の両方を線形に組み合わせることで,ロバストな表現を学習するための新しい目的,すなわちSuperInfoを設計する。 我々は、画像分類、オブジェクト検出、インスタンス分割タスクにおいて、従来のコントラスト学習アプローチよりも優れていることをしばしば示している。
  論文  参考訳（メタデータ） (2024-08-19T16:21:08Z)
• MVEB: Self-Supervised Learning with Multi-View Entropy Bottleneck [53.44358636312935]
  自己監督的アプローチは、画像の2つのビューを入力と自己監督的信号の両方とみなす。 近年の研究では、ビュー間で共有されていない過剰な情報を捨てることにより、一般化が促進されることが示されている。 目的とする多視点エントロピー・ボトルネック(MVEB)を提案し,最小限の表現を効果的に学習する。
  論文  参考訳（メタデータ） (2024-03-28T00:50:02Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Factorized Contrastive Learning: Going Beyond Multi-view Redundancy [116.25342513407173]
  本稿では,マルチビュー冗長性を超えた新しいマルチモーダル表現学習法であるFacterCLを提案する。 大規模な実世界のデータセットでは、FacterCLは共有情報とユニークな情報の両方をキャプチャし、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-06-08T15:17:04Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• An Information Minimization Based Contrastive Learning Model for Unsupervised Sentence Embeddings Learning [19.270283247740664]
  教師なし文表現学習のための情報最小化に基づくコントラスト学習(InforMin-CL)モデルを提案する。 情報最小化は単純なコントラストと再構成の目的によって達成できる。
  論文  参考訳（メタデータ） (2022-09-22T12:07:35Z)
• Conditional Contrastive Learning: Removing Undesirable Information in Self-Supervised Representations [108.29288034509305]
  我々は,自己指導型表現において望ましくない情報を除去するために,条件付きコントラスト学習を開発する。 提案手法は,下流タスクの自己教師付き表現をうまく学習できることを実証的に実証する。
  論文  参考訳（メタデータ） (2021-06-05T10:51:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。