論文の概要: Improving Fine-tuning of Self-supervised Models with Contrastive Initialization

• arxiv url: http://arxiv.org/abs/2208.00238v1
• Date: Sat, 30 Jul 2022 14:45:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 13:48:13.883252
• Title: Improving Fine-tuning of Self-supervised Models with Contrastive Initialization
• Title（参考訳）: コントラスト初期化による自己教師付きモデルの微調整の改善
• Authors: Haolin Pan, Yong Guo, Qinyi Deng, Haomin Yang, Yiqun Chen, Jian Chen
• Abstract要約: 本稿では,標準的な微調整パイプラインを破るContrastive Initialization (COIN)法を提案する。 当社のCOINは、余分なトレーニングコストを伴わずに既存の方法よりも大幅に優れています。
• 参考スコア（独自算出の注目度）: 11.595212661616259
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) has achieved remarkable performance in pretraining the models that can be further used in downstream tasks via fine-tuning. However, these self-supervised models may not capture meaningful semantic information since the images belonging to the same class are always regarded as negative pairs in the contrastive loss. Consequently, the images of the same class are often located far away from each other in learned feature space, which would inevitably hamper the fine-tuning process. To address this issue, we seek to provide a better initialization for the self-supervised models by enhancing the semantic information. To this end, we propose a Contrastive Initialization (COIN) method that breaks the standard fine-tuning pipeline by introducing an extra initialization stage before fine-tuning. Extensive experiments show that, with the enriched semantics, our COIN significantly outperforms existing methods without introducing extra training cost and sets new state-of-the-arts on multiple downstream tasks.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、細調整によって下流タスクでさらに使用できるモデルを事前訓練する上で、優れたパフォーマンスを達成した。 しかし、これらの自己教師付きモデルは、同じクラスに属する画像が常に対照損失の負のペアと見なされるため、意味のある意味的情報をキャプチャすることができない。 その結果、同じクラスの画像はしばしば学習された特徴空間において互いに遠く離れており、必然的に微調整プロセスを妨げる。 この問題に対処するため,セマンティック情報を強化することで,自己教師型モデルのより優れた初期化を提案する。 そこで本研究では,標準的な微調整パイプラインを細調整前に追加初期化ステージを導入することで破る対比的初期化(coin)手法を提案する。 高度なセマンティクスによって、COINはトレーニングコストを余分に必要とせず、既存のメソッドよりも大幅に優れており、複数の下流タスクに新しい最先端のタスクを設定する。

関連論文リスト

• Amuro & Char: Analyzing the Relationship between Pre-Training and Fine-Tuning of Large Language Models [17.288865972774587]
  本研究では,複数の中間学習モデルチェックポイントの微調整による事前学習と微調整の関係について検討する。 18のデータセットで得られた結果は、事前学習が微調整後に発表される潜在的な方法でモデルを改善することを示唆している。
  論文  参考訳（メタデータ） (2024-08-13T06:28:43Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• FD-Align: Feature Discrimination Alignment for Fine-tuning Pre-Trained Models in Few-Shot Learning [21.693779973263172]
  本稿では,特徴識別アライメント(FD-Align)と呼ばれる微調整手法を提案する。 本手法は,突発的特徴の一貫性を保ち,モデルの一般化可能性を高めることを目的としている。 一度微調整すると、モデルは既存のメソッドとシームレスに統合され、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-23T17:12:01Z)
• Continual Learners are Incremental Model Generalizers [70.34479702177988]
  本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。 その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。 本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:26:28Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• Incremental Prototype Prompt-tuning with Pre-trained Representation for Class Incremental Learning [4.717066668969749]
  クラスインクリメンタルな学習は多くの注目を集めていますが、既存のほとんどの研究は、表現モデルを継続的に微調整しています。 我々は、事前学習パラダイムを用いて、固定されたセマンティックリッチな事前学習表現モデルに基づいて、新しい視覚概念を逐次学習する。 我々の手法は、多くのマージンを持つ他の最先端手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2022-04-07T12:49:14Z)
• Learning by Distillation: A Self-Supervised Learning Framework for Optical Flow Estimation [71.76008290101214]
  DistillFlowは光の流れを学ぶための知識蒸留手法である。 KITTIとSintelの両方のデータセット上で、最先端の教師なし学習性能を実現する。 我々のモデルは、KITTI 2015ベンチマークにおけるすべての単分子的手法の中で、第1位にランクされ、Sintel Finalベンチマークで発表されたすべてのメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-06-08T09:13:34Z)
• Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning [94.35586521144117]
  コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。 本研究では,コントラスト正規化調律(core-tuning)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T16:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。