論文の概要: Leveraging Superfluous Information in Contrastive Representation Learning
- arxiv url: http://arxiv.org/abs/2408.10292v1
- Date: Mon, 19 Aug 2024 16:21:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 18:14:26.716302
- Title: Leveraging Superfluous Information in Contrastive Representation Learning
- Title（参考訳）: コントラスト表現学習における過剰情報の活用
- Authors: Xuechu Yu,
- Abstract要約: 従来のコントラスト学習フレームワークには,過剰な情報が存在することを示す。
我々は,予測情報と過剰情報の両方を線形に組み合わせることで,ロバストな表現を学習するための新しい目的,すなわちSuperInfoを設計する。
我々は、画像分類、オブジェクト検出、インスタンス分割タスクにおいて、従来のコントラスト学習アプローチよりも優れていることをしばしば示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive representation learning, which aims to learnthe shared information between different views of unlabeled data by maximizing the mutual information between them, has shown its powerful competence in self-supervised learning for downstream tasks. However, recent works have demonstrated that more estimated mutual information does not guarantee better performance in different downstream tasks. Such works inspire us to conjecture that the learned representations not only maintain task-relevant information from unlabeled data but also carry task-irrelevant information which is superfluous for downstream tasks, thus leading to performance degeneration. In this paper we show that superfluous information does exist during the conventional contrastive learning framework, and further design a new objective, namely SuperInfo, to learn robust representations by a linear combination of both predictive and superfluous information. Besides, we notice that it is feasible to tune the coefficients of introduced losses to discard task-irrelevant information, while keeping partial non-shared task-relevant information according to our SuperInfo loss.We demonstrate that learning with our loss can often outperform the traditional contrastive learning approaches on image classification, object detection and instance segmentation tasks with significant improvements.
- Abstract（参考訳）: 相互情報を最大化することで、ラベルなしデータの異なるビュー間で共有情報を学習することを目的としたコントラスト表現学習は、下流タスクのための自己教師型学習において、その強力な能力を示している。
しかし、近年の研究では、より推定された相互情報は、下流タスクにおけるより良い性能を保証するものではないことが示されている。
このような研究は、学習された表現が、ラベルのないデータからタスク関連情報を保持するだけでなく、下流のタスクに過剰なタスク関連情報も保持し、パフォーマンスの劣化につながると推測するきっかけとなった。
本稿では,従来のコントラスト学習フレームワークに過剰情報が存在することを示すとともに,予測情報と過フル情報の両方を線形に組み合わせて頑健な表現を学習するための新たな目的であるSuperInfoを設計する。
また,従来の画像分類やオブジェクト検出,インスタンスセグメンテーションといった対照的な学習手法を著しく向上させながら,タスク関連情報の一部を共有していないタスク関連情報をスーパーインフォメーションの損失に応じて保持する上で,導入した損失の係数を調整し,タスク関連情報を捨てることが可能であることに気付く。
関連論文リスト
- Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Long-Tailed Recognition by Mutual Information Maximization between
Latent Features and Ground-Truth Labels [10.782043595405831]
本稿では,比較学習とロジット調整を統合して,音声認識ベンチマークにおける最先端性能を示す損失関数を導出する。
また、画像分割タスクにおけるその有効性を示し、画像分類を超えた不均衡を検証する。
論文 参考訳（メタデータ） (2023-05-02T02:29:18Z) - An Exploration of Data Efficiency in Intra-Dataset Task Transfer for
Dialog Understanding [65.75873687351553]
本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。
非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
論文 参考訳（メタデータ） (2022-10-21T04:36:46Z) - A Data-Based Perspective on Transfer Learning [76.30206800557411]
転送学習におけるソースデータセットの合成の役割について,より詳しく検討する。
我々のフレームワークは、転送学習の脆さをピンポインティングするなど、新しい機能を生み出します。
論文 参考訳（メタデータ） (2022-07-12T17:58:28Z) - Rethinking Minimal Sufficient Representation in Contrastive Learning [28.83450836832452]
対照的な学習モデルでは、ビュー間の共有情報に過度に適合するリスクがあることが示される。
本稿では,タスク関連情報を概ね導入するために,正規化として表現と入力の相互情報を増やすことを提案する。
下流タスクにおける古典的コントラスト学習モデルの性能を大幅に向上させる。
論文 参考訳（メタデータ） (2022-03-14T11:17:48Z) - Robust Representation Learning via Perceptual Similarity Metrics [18.842322467828502]
Contrastive Input Morphing (CIM) はデータの入力空間変換を学習する表現学習フレームワークである。
CIMは他の相互情報に基づく表現学習技術と相補的であることを示す。
論文 参考訳（メタデータ） (2021-06-11T21:45:44Z) - Conditional Contrastive Learning: Removing Undesirable Information in
Self-Supervised Representations [108.29288034509305]
我々は,自己指導型表現において望ましくない情報を除去するために,条件付きコントラスト学習を開発する。
提案手法は,下流タスクの自己教師付き表現をうまく学習できることを実証的に実証する。
論文 参考訳（メタデータ） (2021-06-05T10:51:26Z) - Low-Regret Active learning [64.36270166907788]
トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。
私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
論文 参考訳（メタデータ） (2021-04-06T22:53:45Z) - Heterogeneous Contrastive Learning: Encoding Spatial Information for
Compact Visual Representations [183.03278932562438]
本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。
提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
論文 参考訳（メタデータ） (2020-11-19T16:26:25Z) - Towards All-around Knowledge Transferring: Learning From Task-irrelevant
Labels [44.036667329736225]
既存の取り組みは、この問題に取り組むために、タスク関連知識を他の類似データから移すことに重点を置いている。
これまでタスク非関連の特徴の影響を調査する大規模な研究は行われていない。
本稿では,タスク非関連ラベルから主に抽出されるタスク非関連特徴を利用するタスク非関連変換学習を提案する。
論文 参考訳（メタデータ） (2020-11-17T06:43:58Z) - Self-Supervised Domain Adaptation with Consistency Training [0.2462953128215087]
画像分類における教師なし領域適応の問題点を考察する。
ラベルのないデータをある種の変換で拡張することにより、自己教師付きプレテキストタスクを作成する。
我々は、拡張データの表現を元のデータと整合するように強制する。
論文 参考訳（メタデータ） (2020-10-15T06:03:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。