論文の概要: Self-Supervised Visual Representation Learning via Residual Momentum

• arxiv url: http://arxiv.org/abs/2211.09861v2
• Date: Mon, 21 Nov 2022 18:34:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 14:50:29.976009
• Title: Self-Supervised Visual Representation Learning via Residual Momentum
• Title（参考訳）: 残像を用いた自己監督型視覚表現学習
• Authors: Trung X. Pham, Axi Niu, Zhang Kang, Sultan Rizky Madjid, Ji Woo Hong, Daehyeok Kim, Joshua Tian Jin Tee, Chang D. Yoo
• Abstract要約: 自己教師付き学習(SSL)アプローチは、ラベルのないデータから表現を学ぶ上で有望な能力を示している。 モーメントベースのSSLフレームワークは、オンラインエンコーダ(学生)とモーメントエンコーダ(教師)の間の大きなギャップに悩まされる この論文は、この見えないギャップを既存のSSLフレームワークで見過ごされているボトルネックとして調査し、特定した最初のものである。 本研究では,このギャップを減らし,教師に近い表現をできる限り学習するよう学生に促す「残留運動量」を提案する。
• 参考スコア（独自算出の注目度）: 15.515169550346517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) approaches have shown promising capabilities in learning the representation from unlabeled data. Amongst them, momentum-based frameworks have attracted significant attention. Despite being a great success, these momentum-based SSL frameworks suffer from a large gap in representation between the online encoder (student) and the momentum encoder (teacher), which hinders performance on downstream tasks. This paper is the first to investigate and identify this invisible gap as a bottleneck that has been overlooked in the existing SSL frameworks, potentially preventing the models from learning good representation. To solve this problem, we propose "residual momentum" to directly reduce this gap to encourage the student to learn the representation as close to that of the teacher as possible, narrow the performance gap with the teacher, and significantly improve the existing SSL. Our method is straightforward, easy to implement, and can be easily plugged into other SSL frameworks. Extensive experimental results on numerous benchmark datasets and diverse network architectures have demonstrated the effectiveness of our method over the state-of-the-art contrastive learning baselines.
• Abstract（参考訳）: 自己教師付き学習(SSL)アプローチは、ラベルのないデータから表現を学ぶ上で有望な能力を示している。 その中でも運動量に基づくフレームワークが注目されている。 大きな成功にもかかわらず、これらのモメンタベースのSSLフレームワークは、オンラインエンコーダ(学生)とモメンタエンコーダ(教師)の間の大きなギャップに悩まされており、下流タスクのパフォーマンスを妨げている。 この論文は、既存のSSLフレームワークで見過ごされているボトルネックとして、この目に見えないギャップを調査し、特定した最初のものである。 この問題を解決するため,教師とのパフォーマンスギャップを狭くし,既存のSSLを大幅に改善するため,このギャップを直接減らし,教師に近い表現をできる限り学習するよう学生に促す「残留運動量」を提案する。 私たちのメソッドは単純で実装が容易で、他のSSLフレームワークに簡単にプラグインできます。 多数のベンチマークデータセットと多様なネットワークアーキテクチャに関する大規模な実験結果から,最先端のコントラスト学習ベースラインに対する本手法の有効性が示された。

関連論文リスト

• Self-supervised contrastive learning performs non-linear system identification [2.393499494583001]
  自己教師型学習は潜在空間においてシステム識別を行うことができることを示す。 非線形観測モデルの下で線形・切替線形・非線形力学を明らかにするためのフレームワークであるDynCLを提案する。
  論文  参考訳（メタデータ） (2024-10-18T17:59:25Z)
• A Survey of the Self Supervised Learning Mechanisms for Vision Transformers [5.152455218955949]
  視覚タスクにおける自己教師あり学習(SSL)の適用は注目されている。 SSL手法を体系的に分類する包括的分類法を開発した。 SSLの背後にあるモチベーションについて議論し、人気のある事前トレーニングタスクをレビューし、この分野の課題と進歩を強調します。
  論文  参考訳（メタデータ） (2024-08-30T07:38:28Z)
• Reverse Engineering Self-Supervised Learning [17.720366509919167]
  自己教師型学習(SSL)は機械学習の強力なツールである。 本稿ではSSL学習表現の詳細な実験的検討を行う。
  論文  参考訳（メタデータ） (2023-05-24T23:15:28Z)
• Understanding and Improving the Role of Projection Head in Self-Supervised Learning [77.59320917894043]
  自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。 現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。 学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
  論文  参考訳（メタデータ） (2022-12-22T05:42:54Z)
• Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
  頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-22T06:30:44Z)
• On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning [104.00264962878956]
  コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。 我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
  論文  参考訳（メタデータ） (2022-07-22T03:49:50Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)
• Adversarial Self-Supervised Learning for Semi-Supervised 3D Action Recognition [123.62183172631443]
  本稿では,SSLと半教師付きスキームを緊密に結合する新しいフレームワークであるAdversarial Self-Supervised Learning (ASSL)を紹介する。 具体的には,3次元動作認識のための学習表現の識別能力を向上させる効果的なSSL方式を設計する。
  論文  参考訳（メタデータ） (2020-07-12T08:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。