Fugu-MT 論文翻訳(概要): Weak Augmentation Guided Relational Self-Supervised Learning

論文の概要: Weak Augmentation Guided Relational Self-Supervised Learning

arxiv url: http://arxiv.org/abs/2203.08717v3
Date: Mon, 3 Jun 2024 12:06:06 GMT
ステータス: 処理完了
システム内更新日: 2024-06-05 00:04:47.829517
Title: Weak Augmentation Guided Relational Self-Supervised Learning
Title（参考訳）: リレーショナル・セルフ・スーパーバイザード・ラーニングによる弱弱化指導
Authors: Mingkai Zheng, Shan You, Fei Wang, Chen Qian, Changshui Zhang, Xiaogang Wang, Chang Xu,
Abstract要約: 本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
参考スコア（独自算出の注目度）: 80.0680103295137
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Self-supervised Learning (SSL) including the mainstream contrastive learning has achieved great success in learning visual representations without data annotations. However, most methods mainly focus on the instance level information (\ie, the different augmented images of the same instance should have the same feature or cluster into the same class), but there is a lack of attention on the relationships between different instances. In this paper, we introduce a novel SSL paradigm, which we term as relational self-supervised learning (ReSSL) framework that learns representations by modeling the relationship between different instances. Specifically, our proposed method employs sharpened distribution of pairwise similarities among different instances as \textit{relation} metric, which is thus utilized to match the feature embeddings of different augmentations. To boost the performance, we argue that weak augmentations matter to represent a more reliable relation, and leverage momentum strategy for practical efficiency. The designed asymmetric predictor head and an InfoNCE warm-up strategy enhance the robustness to hyper-parameters and benefit the resulting performance. Experimental results show that our proposed ReSSL substantially outperforms the state-of-the-art methods across different network architectures, including various lightweight networks (\eg, EfficientNet and MobileNet).
Abstract（参考訳）: 主流のコントラスト学習を含む自己教師あり学習(SSL)は、データアノテーションなしで視覚表現を学習することに成功した。しかしながら、ほとんどのメソッドは、主にインスタンスレベルの情報に焦点を当てています(つまり、同じインスタンスの異なる拡張イメージは、同じ機能または同じクラスにクラスタされるべきです)。本稿では,異なるインスタンス間の関係をモデル化して表現を学習するリレーショナル自己教師型学習(Relational Self-supervised Learning, ReSSL)フレームワークを提案する。特に,提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,異なる拡張の特徴埋め込みに適合させるために,‘textit{relation} metric’として用いた。性能を高めるために、より信頼性の高い関係を示すために弱い拡張が重要であり、実用的な効率のために運動量戦略を活用することを議論する。設計された非対称予測ヘッドとInfoNCEウォームアップ戦略は、ハイパーパラメータへのロバスト性を高め、その結果のパフォーマンスを向上する。実験の結果,提案したReSSLは,様々な軽量ネットワーク(\eg,EfficientNet,MobileNet)を含む,さまざまなネットワークアーキテクチャにおける最先端の手法よりも大幅に優れていた。

関連論文リスト

Augmentations vs Algorithms: What Works in Self-Supervised Learning [9.194402355758164]
自己監督学習(SSL)におけるデータ強化,事前学習アルゴリズム,モデルアーキテクチャの相対効果について検討する。異なるSSLメソッドを単一の共有テンプレートに統合する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-03-08T23:42:06Z)
Self-Supervised Representation Learning with Meta Comprehensive Regularization [11.387994024747842]
既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
論文参考訳（メタデータ） (2024-03-03T15:53:48Z)
The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
論文参考訳（メタデータ） (2024-02-22T20:36:24Z)
A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。自己教師型学習のための生成潜在変数モデルを提案する。対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文参考訳（メタデータ） (2024-02-02T13:31:17Z)
ArCL: Enhancing Contrastive Learning with Augmentation-Robust Representations [30.745749133759304]
我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2023-03-02T09:26:20Z)
The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning [62.601681746034956]
自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
論文参考訳（メタデータ） (2022-09-18T18:15:38Z)
ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文参考訳（メタデータ） (2021-07-20T06:53:07Z)
Memory-Augmented Relation Network for Few-Shot Learning [114.47866281436829]
本研究では,新しい距離学習手法であるメモリ拡張リレーショナルネットワーク(MRN)について検討する。 MRNでは、作業状況と視覚的に類似したサンプルを選択し、重み付け情報伝搬を行い、選択したサンプルから有用な情報を注意深く集約し、その表現を強化する。我々は、MRNが祖先よりも大幅に向上し、他の数発の学習手法と比較して、競争力や性能が向上することを示した。
論文参考訳（メタデータ） (2020-05-09T10:09:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。