Fugu-MT 論文翻訳(概要): SASSL: Enhancing Self-Supervised Learning via Neural Style Transfer

論文の概要: SASSL: Enhancing Self-Supervised Learning via Neural Style Transfer

arxiv url: http://arxiv.org/abs/2312.01187v1
Date: Sat, 2 Dec 2023 17:25:30 GMT
ステータス: 処理完了
システム内更新日: 2023-12-05 18:41:09.882900
Title: SASSL: Enhancing Self-Supervised Learning via Neural Style Transfer
Title（参考訳）: SASSL: ニューラルネットワークによる自己監督型学習の強化
Authors: Renan A. Rojas-Gomez, Karan Singhal, Ali Etemad, Alex Bijamov, Warren R. Morningstar, Philip Andrew Mansfield
Abstract要約: SASSL: 自己監視学習のためのスタイル拡張は、ニューラルスタイル転送に基づく新しい拡張技術である。実験結果から,ImageNetではトップ1の分類性能が2%以上向上していることがわかった。また、5つの多様なデータセット間での転送学習のパフォーマンスを測定し、最大3.75%の大幅な改善を観察する。
参考スコア（独自算出の注目度）: 22.007237455091836
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Self-supervised learning relies heavily on data augmentation to extract meaningful representations from unlabeled images. While existing state-of-the-art augmentation pipelines incorporate a wide range of primitive transformations, these often disregard natural image structure. Thus, augmented samples can exhibit degraded semantic information and low stylistic diversity, affecting downstream performance of self-supervised representations. To overcome this, we propose SASSL: Style Augmentations for Self Supervised Learning, a novel augmentation technique based on Neural Style Transfer. The method decouples semantic and stylistic attributes in images and applies transformations exclusively to the style while preserving content, generating diverse augmented samples that better retain their semantic properties. Experimental results show our technique achieves a top-1 classification performance improvement of more than 2% on ImageNet compared to the well-established MoCo v2. We also measure transfer learning performance across five diverse datasets, observing significant improvements of up to 3.75%. Our experiments indicate that decoupling style from content information and transferring style across datasets to diversify augmentations can significantly improve downstream performance of self-supervised representations.
Abstract（参考訳）: 自己教師付き学習は、ラベルのない画像から意味のある表現を抽出するために、データ拡張に大きく依存する。既存の最先端の拡張パイプラインには、さまざまなプリミティブ変換が含まれているが、自然画像構造を無視することが多い。このように、拡張されたサンプルは、劣化した意味情報と低スタイリスティックな多様性を示し、自己教師付き表現の下流のパフォーマンスに影響を与える。そこで我々は,ニューラルネットワークを用いた新しい拡張手法であるSASSL: Style Augmentations for Self Supervised Learningを提案する。この方法は、画像のセマンティック属性とスタイリスティック属性を分離し、コンテンツを保持しながらスタイルのみに変換を適用し、セマンティック特性をよりよく保持する多様な拡張サンプルを生成する。実験の結果,MoCo v2と比較して,ImageNetの上位1分類性能は2%以上向上した。また,5つのデータセット間での転送学習性能を測定し,最大3.75%の大幅な改善を観測した。実験により、コンテンツ情報からの分離スタイルとデータセット間の転送スタイルが拡張の多様化に寄与し、自己教師付き表現の下流性能が大幅に向上することが示唆された。

関連論文リスト

On Pretraining Data Diversity for Self-Supervised Learning [57.91495006862553]
我々は、より多様なデータセットを用いたトレーニングが、固定された計算予算の下での自己教師付き学習(SSL)のパフォーマンスに与える影響について検討する。以上の結果から,事前学習データの多様性の増大はSSL性能を向上させるが,下流データへの分布距離が最小である場合に限る。
論文参考訳（メタデータ） (2024-03-20T17:59:58Z)
Can Generative Models Improve Self-Supervised Representation Learning? [0.7999703756441756]
本稿では、生成モデルを利用して意味論的に一貫した画像拡張を生成することによって、自己指導型学習パラダイムを充実させる新しいフレームワークを提案する。その結果,下流タスクにおいて,学習した視覚表現の精度を最大10%向上させることができた。
論文参考訳（メタデータ） (2024-03-09T17:17:07Z)
Zero-Shot Learning by Harnessing Adversarial Samples [52.09717785644816]
本稿では,HAS(Harnessing Adversarial Samples)によるZSL(Zero-Shot Learning)アプローチを提案する。 HASは3つの重要な側面を考慮に入れた敵の訓練を通じてZSLを前進させる。本稿では,ZSLと一般化ゼロショット学習(GZSL)の両シナリオにおいて,敵対的サンプルアプローチの有効性を実証する。
論文参考訳（メタデータ） (2023-08-01T06:19:13Z)
L-DAWA: Layer-wise Divergence Aware Weight Aggregation in Federated Self-Supervised Visual Representation Learning [14.888569402903562]
自己教師付き学習(SSL)とフェデレーション付き学習(FL)をひとつのコヒーレントシステムに統合することは、データプライバシの保証を提供する可能性がある。本稿では,FLアグリゲーションにおけるクライアントバイアスや分散の影響を軽減するため,レイヤワイド・ディバージェンス・アウェア・ウェイト・アグリゲーション(L-DAWA)と呼ばれる新たなアグリゲーション戦略を提案する。
論文参考訳（メタデータ） (2023-07-14T15:07:30Z)
Augmentation-aware Self-supervised Learning with Conditioned Projector [6.720605329045581]
自己教師付き学習(SSL)は、ラベルのないデータから学習するための強力な技術である。本稿では,プロジェクタネットワークを改良し,表現空間の特徴に対する感受性を高めることを提案する。提案手法は条件拡張型自己教師学習(CASSLE)と呼ばれ,通常の共同埋め込み型SSL手法に直接適用可能である。
論文参考訳（メタデータ） (2023-05-31T12:24:06Z)
CSP: Self-Supervised Contrastive Spatial Pre-Training for Geospatial-Visual Representations [90.50864830038202]
ジオタグ付き画像の自己教師型学習フレームワークであるContrastive Spatial Pre-Training(CSP)を提案する。デュアルエンコーダを用いて画像とその対応する位置情報を別々に符号化し、コントラスト目的を用いて画像から効果的な位置表現を学習する。 CSPは、様々なラベル付きトレーニングデータサンプリング比と10～34%の相対的な改善で、モデル性能を大幅に向上させる。
論文参考訳（メタデータ） (2023-05-01T23:11:18Z)
Virtual embeddings and self-consistency for self-supervised learning [43.086696088061416]
TriMixは、線形データを通じて仮想埋め込みを生成する自己教師型学習の新しい概念である。我々は,TriMixを2.71%,0.41%改善した8つのベンチマークデータセットで検証した。
論文参考訳（メタデータ） (2022-06-13T10:20:28Z)
Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文参考訳（メタデータ） (2022-03-16T16:14:19Z)
Class-Aware Contrastive Semi-Supervised Learning [51.205844705156046]
本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
論文参考訳（メタデータ） (2022-03-04T12:18:23Z)
ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文参考訳（メタデータ） (2021-07-20T06:53:07Z)
Self-Supervised Learning with Kernel Dependence Maximization [23.618292038419654]
我々はHilbert-Schmidt Independence Criterion (SSL-HSIC)による自己指導型学習を提案する。 SSL-HSICは、画像の変換されたバージョンの表現とイメージアイデンティティの依存関係を最大化する。この自己教師型学習フレームワークは、異なる変換間の相互情報(MI)の変動的下限であるInfoNCEを新たに理解する。
論文参考訳（メタデータ） (2021-06-15T17:51:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。