論文の概要: Rethinking Minimal Sufficient Representation in Contrastive Learning
- arxiv url: http://arxiv.org/abs/2203.07004v1
- Date: Mon, 14 Mar 2022 11:17:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-15 15:57:40.704253
- Title: Rethinking Minimal Sufficient Representation in Contrastive Learning
- Title(参考訳): コントラスト学習における最小表現の再考
- Authors: Haoqing Wang, Xun Guo, Zhi-Hong Deng, Yan Lu
- Abstract要約: 対照的な学習モデルでは、ビュー間の共有情報に過度に適合するリスクがあることが示される。
本稿では,タスク関連情報を概ね導入するために,正規化として表現と入力の相互情報を増やすことを提案する。
下流タスクにおける古典的コントラスト学習モデルの性能を大幅に向上させる。
- 参考スコア(独自算出の注目度): 28.83450836832452
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning between different views of the data achieves outstanding
success in the field of self-supervised representation learning and the learned
representations are useful in broad downstream tasks. Since all supervision
information for one view comes from the other view, contrastive learning
approximately obtains the minimal sufficient representation which contains the
shared information and eliminates the non-shared information between views.
Considering the diversity of the downstream tasks, it cannot be guaranteed that
all task-relevant information is shared between views. Therefore, we assume the
non-shared task-relevant information cannot be ignored and theoretically prove
that the minimal sufficient representation in contrastive learning is not
sufficient for the downstream tasks, which causes performance degradation. This
reveals a new problem that the contrastive learning models have the risk of
over-fitting to the shared information between views. To alleviate this
problem, we propose to increase the mutual information between the
representation and input as regularization to approximately introduce more
task-relevant information, since we cannot utilize any downstream task
information during training. Extensive experiments verify the rationality of
our analysis and the effectiveness of our method. It significantly improves the
performance of several classic contrastive learning models in downstream tasks.
Our code is available at \url{https://github.com/Haoqing-Wang/InfoCL}.
- Abstract(参考訳): データの異なるビュー間のコントラスト学習は、自己教師付き表現学習の分野で顕著な成功を収め、学習された表現は幅広い下流タスクに有用である。
一方の視点に対するすべての監督情報が他方の視点から来るため、コントラスト学習は、共有情報を含む最小の十分な表現を得て、ビュー間の非共有情報を排除する。
下流タスクの多様性を考えると、すべてのタスク関連情報がビュー間で共有されることは保証できない。
したがって、非共有タスク関連情報は無視できないと仮定し、比較学習における最小限の表現が下流タスクに十分でないことを理論的に証明し、性能劣化を引き起こす。
これは、対照的な学習モデルがビュー間の共有情報に過剰適合するリスクを持つ新しい問題を明らかにする。
そこで本研究では,学習中にダウンストリームタスク情報を利用することができないため,表現と入力の相互情報を正規化として増やし,タスク関連情報を概ね導入することを提案する。
広範な実験により解析の合理性と方法の有効性が検証された。
下流タスクにおける古典的コントラスト学習モデルの性能を大幅に向上させる。
私たちのコードは \url{https://github.com/Haoqing-Wang/InfoCL} で利用可能です。
関連論文リスト
- Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳(メタデータ) (2024-01-07T18:12:20Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-02T14:18:11Z) - Factorized Contrastive Learning: Going Beyond Multi-view Redundancy [116.25342513407173]
本稿では,マルチビュー冗長性を超えた新しいマルチモーダル表現学習法であるFacterCLを提案する。
大規模な実世界のデータセットでは、FacterCLは共有情報とユニークな情報の両方をキャプチャし、最先端の結果を達成する。
論文 参考訳(メタデータ) (2023-06-08T15:17:04Z) - Long-Tailed Recognition by Mutual Information Maximization between
Latent Features and Ground-Truth Labels [10.782043595405831]
本稿では,比較学習とロジット調整を統合して,音声認識ベンチマークにおける最先端性能を示す損失関数を導出する。
また、画像分割タスクにおけるその有効性を示し、画像分類を超えた不均衡を検証する。
論文 参考訳(メタデータ) (2023-05-02T02:29:18Z) - Leveraging sparse and shared feature activations for disentangled
representation learning [112.22699167017471]
本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。
我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
論文 参考訳(メタデータ) (2023-04-17T01:33:24Z) - Cross-view Graph Contrastive Representation Learning on Partially
Aligned Multi-view Data [52.491074276133325]
マルチビュー表現学習は、過去数十年間で急速に発展し、多くの分野に応用されてきた。
本稿では,多視点情報を統合してデータアライメントを行い,潜在表現を学習する,新しいクロスビューグラフコントラスト学習フレームワークを提案する。
複数の実データを用いて実験を行い,クラスタリングおよび分類作業における提案手法の有効性を示した。
論文 参考訳(メタデータ) (2022-11-08T09:19:32Z) - On minimal variations for unsupervised representation learning [19.055611167696238]
教師なし表現学習は、様々な下流タスクを解決するために、生データを効率的に記述することを目的としている。
教師なし表現学習の原則として最小限のバリエーションを考案することは、自己教師付き学習アルゴリズムの実践的ガイドラインを改善する道を開く。
論文 参考訳(メタデータ) (2022-11-07T18:57:20Z) - An Information Minimization Based Contrastive Learning Model for
Unsupervised Sentence Embeddings Learning [19.270283247740664]
教師なし文表現学習のための情報最小化に基づくコントラスト学習(InforMin-CL)モデルを提案する。
情報最小化は単純なコントラストと再構成の目的によって達成できる。
論文 参考訳(メタデータ) (2022-09-22T12:07:35Z) - Conditional Contrastive Learning: Removing Undesirable Information in
Self-Supervised Representations [108.29288034509305]
我々は,自己指導型表現において望ましくない情報を除去するために,条件付きコントラスト学習を開発する。
提案手法は,下流タスクの自己教師付き表現をうまく学習できることを実証的に実証する。
論文 参考訳(メタデータ) (2021-06-05T10:51:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。