論文の概要: Masked Reconstruction Contrastive Learning with Information Bottleneck Principle

• arxiv url: http://arxiv.org/abs/2211.09013v1
• Date: Tue, 15 Nov 2022 15:20:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 17:02:14.470362
• Title: Masked Reconstruction Contrastive Learning with Information Bottleneck Principle
• Title（参考訳）: 情報ボトルネック原理を用いたマスケリコントラスト学習
• Authors: Ziwen Liu, Bonan Li, Congying Han, Tiande Guo, Xuecheng Nie
• Abstract要約: コントラスト学習(CL)は、自己指導型学習において大きな力を示している。 現在のCLモデルは、正と負のペアを区別する能力のみを学ぶことに偏っている。 CLモデルを改善するために,Masked Reconstruction Contrastive Learning(MRCL)モデルを提案する。
• 参考スコア（独自算出の注目度）: 9.136962881499734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning (CL) has shown great power in self-supervised learning due to its ability to capture insight correlations among large-scale data. Current CL models are biased to learn only the ability to discriminate positive and negative pairs due to the discriminative task setting. However, this bias would lead to ignoring its sufficiency for other downstream tasks, which we call the discriminative information overfitting problem. In this paper, we propose to tackle the above problems from the aspect of the Information Bottleneck (IB) principle, further pushing forward the frontier of CL. Specifically, we present a new perspective that CL is an instantiation of the IB principle, including information compression and expression. We theoretically analyze the optimal information situation and demonstrate that minimum sufficient augmentation and information-generalized representation are the optimal requirements for achieving maximum compression and generalizability to downstream tasks. Therefore, we propose the Masked Reconstruction Contrastive Learning~(MRCL) model to improve CL models. For implementation in practice, MRCL utilizes the masking operation for stronger augmentation, further eliminating redundant and noisy information. In order to alleviate the discriminative information overfitting problem effectively, we employ the reconstruction task to regularize the discriminative task. We conduct comprehensive experiments and show the superiority of the proposed model on multiple tasks, including image classification, semantic segmentation and objective detection.
• Abstract（参考訳）: コントラスト学習(cl)は,大規模データ間の洞察相関を捉える能力から,自己教師付き学習において大きな力を発揮している。 現在のCLモデルは、識別的タスク設定によって正と負のペアを識別する能力のみを学ぶようにバイアスされる。 しかし、このバイアスは、他の下流タスクに対する十分性を無視して、差別的な情報過度問題と呼ぶことになる。 本稿では,情報ボトルネック(IB)の原理から上記の問題に対処し,CLのフロンティアをさらに前進させることを提案する。 具体的には、情報圧縮や表現を含むICB原則のインスタンス化について、CLが新たな視点を示す。 理論的には, 最適情報状況を分析し, 最小の増補表現と情報一般化表現が, 下流タスクの最大圧縮と一般化性を達成するための最適要件であることを実証する。 そこで我々は, CLモデルを改善するためのMasked Reconstruction Contrastive Learning~(MRCL)モデルを提案する。 実際の実装では、mrclはマスキング操作を利用してより強化され、冗長でうるさい情報を排除している。 識別情報過適合問題を効果的に緩和するために,識別タスクを正規化するために再構成タスクを用いる。 画像分類,意味セグメンテーション,客観的検出など複数のタスクにおいて,提案モデルの優越性を示すため,包括的な実験を行った。

関連論文リスト

• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Continual Learners are Incremental Model Generalizers [70.34479702177988]
  本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。 その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。 本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:26:28Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
  本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-20T17:58:30Z)
• Learning Deep Representations via Contrastive Learning for Instance Retrieval [11.736450745549792]
  本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。 本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-28T04:36:34Z)
• 2nd Place Solution for ICCV 2021 VIPriors Image Classification Challenge: An Attract-and-Repulse Learning Approach [41.346232387426944]
  畳み込みニューラルネットワーク(CNN)は、大規模なデータセットを利用することで、画像分類において大きな成功を収めた。 特徴表現を豊かにするContrastive Regularization(CR)と、異なるクラスに対する適合性のバランスをとるSymmetric Cross Entropy(SCE)からなるAttract-and-Repulseを提案する。 具体的には、SCEとCRは、クラス(トラクション)とインスタンス(リパルス)の情報間の適応的トレードオフによる過度な適合を緩和しながら、識別表現を学習する。
  論文  参考訳（メタデータ） (2022-06-13T13:54:33Z)
• Integrating Prior Knowledge in Contrastive Learning with Kernel [4.050766659420731]
  我々は、カーネル理論を用いて、(i)事前知識の統合を可能にし、(i)元のInfoNCE損失における負の正の結合を取り除くという、分離均一性(decoupled uniformity)と呼ばれる新しい損失を提案する。 教師なしの環境では、CLは自然画像と医用画像の両方で表現を改善するために生成モデルから恩恵を受けることを実証的に実証する。
  論文  参考訳（メタデータ） (2022-06-03T15:43:08Z)
• Supercharging Imbalanced Data Learning With Energy-based Contrastive Representation Transfer [72.5190560787569]
  コンピュータビジョンにおいて、長い尾のデータセットからの学習は、特に自然画像データセットの繰り返しのテーマである。 本稿では,データ生成機構がラベル条件と特徴分布の間で不変であるメタ分散シナリオを提案する。 これにより、因果データインフレーションの手順を利用してマイノリティクラスの表現を拡大できる。
  論文  参考訳（メタデータ） (2020-11-25T00:13:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。