Fugu-MT 論文翻訳(概要): SASSL: Enhancing Self-Supervised Learning via Neural Style Transfer

論文の概要: SASSL: Enhancing Self-Supervised Learning via Neural Style Transfer

arxiv url: http://arxiv.org/abs/2312.01187v4
Date: Sat, 02 Nov 2024 17:08:45 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-05 14:45:05.250401
Title: SASSL: Enhancing Self-Supervised Learning via Neural Style Transfer
Title（参考訳）: SASSL: ニューラルネットワークによる自己監督型学習の強化
Authors: Renan A. Rojas-Gomez, Karan Singhal, Ali Etemad, Alex Bijamov, Warren R. Morningstar, Philip Andrew Mansfield,
Abstract要約: SASSL: 自己監視学習のためのスタイル拡張は、ニューラルスタイル転送に基づく新しいデータ拡張技術である。 SASSLはイメージのセマンティック属性とスタイリスティック属性を分離し、コンテンツを保存しながらそのスタイルにのみ適用される。 SASSLは、イメージネット上のトップ1画像分類の精度を、確立された自己監督手法と比較して最大2ポイント向上する。
参考スコア（独自算出の注目度）: 20.769072160203038
License:
Abstract: Existing data augmentation in self-supervised learning, while diverse, fails to preserve the inherent structure of natural images. This results in distorted augmented samples with compromised semantic information, ultimately impacting downstream performance. To overcome this limitation, we propose SASSL: Style Augmentations for Self Supervised Learning, a novel data augmentation technique based on Neural Style Transfer. SASSL decouples semantic and stylistic attributes in images and applies transformations exclusively to their style while preserving content, generating diverse samples that better retain semantic information. SASSL boosts top-1 image classification accuracy on ImageNet by up to 2 percentage points compared to established self-supervised methods like MoCo, SimCLR, and BYOL, while achieving superior transfer learning performance across various datasets. Because SASSL can be performed asynchronously as part of the data augmentation pipeline, these performance impacts can be obtained with no change in pretraining throughput.
Abstract（参考訳）: 自己教師付き学習における既存のデータ拡張は、多様ではあるが、自然画像の本質的な構造を保存できない。この結果、乱れたセマンティック情報を持つ歪んだ拡張サンプルが、最終的に下流のパフォーマンスに影響を及ぼす。この制限を克服するために,ニューラルネットワークを用いた新しいデータ拡張技術であるSASSL: Style Augmentations for Self Supervised Learningを提案する。 SASSLは、イメージのセマンティック属性とスタイリスティック属性を分離し、コンテンツを保持しながらそのスタイルにのみ変換を適用し、セマンティック情報をよりよく保持する多様なサンプルを生成する。 SASSLは、MoCo、SimCLR、BYOLといった既存の自己教師型メソッドと比較して、ImageNet上のトップ1イメージの分類精度を最大2パーセント向上すると同時に、さまざまなデータセット間で優れた転送学習性能を実現している。 SASSLはデータ拡張パイプラインの一部として非同期に実行できるため、これらのパフォーマンスへの影響は事前トレーニングスループットを変更することなく得ることができる。

関連論文リスト

On Pretraining Data Diversity for Self-Supervised Learning [57.91495006862553]
我々は、より多様なデータセットを用いたトレーニングが、固定された計算予算の下での自己教師付き学習(SSL)のパフォーマンスに与える影響について検討する。以上の結果から,事前学習データの多様性の増大はSSL性能を向上させるが,下流データへの分布距離が最小である場合に限る。
論文参考訳（メタデータ） (2024-03-20T17:59:58Z)
Can Generative Models Improve Self-Supervised Representation Learning? [0.7999703756441756]
本稿では、生成モデルを利用して意味論的に一貫した画像拡張を生成することによって、自己指導型学習パラダイムを充実させる新しいフレームワークを提案する。その結果,下流タスクにおいて,学習した視覚表現の精度を最大10%向上させることができた。
論文参考訳（メタデータ） (2024-03-09T17:17:07Z)
Zero-Shot Learning by Harnessing Adversarial Samples [52.09717785644816]
本稿では,HAS(Harnessing Adversarial Samples)によるZSL(Zero-Shot Learning)アプローチを提案する。 HASは3つの重要な側面を考慮に入れた敵の訓練を通じてZSLを前進させる。本稿では,ZSLと一般化ゼロショット学習(GZSL)の両シナリオにおいて,敵対的サンプルアプローチの有効性を実証する。
論文参考訳（メタデータ） (2023-08-01T06:19:13Z)
L-DAWA: Layer-wise Divergence Aware Weight Aggregation in Federated Self-Supervised Visual Representation Learning [14.888569402903562]
自己教師付き学習(SSL)とフェデレーション付き学習(FL)をひとつのコヒーレントシステムに統合することは、データプライバシの保証を提供する可能性がある。本稿では,FLアグリゲーションにおけるクライアントバイアスや分散の影響を軽減するため,レイヤワイド・ディバージェンス・アウェア・ウェイト・アグリゲーション(L-DAWA)と呼ばれる新たなアグリゲーション戦略を提案する。
論文参考訳（メタデータ） (2023-07-14T15:07:30Z)
Augmentation-aware Self-supervised Learning with Conditioned Projector [6.720605329045581]
自己教師付き学習(SSL)は、ラベルのないデータから学習するための強力な技術である。本稿では,プロジェクタネットワークを改良し,表現空間の特徴に対する感受性を高めることを提案する。提案手法は条件拡張型自己教師学習(CASSLE)と呼ばれ,通常の共同埋め込み型SSL手法に直接適用可能である。
論文参考訳（メタデータ） (2023-05-31T12:24:06Z)
CSP: Self-Supervised Contrastive Spatial Pre-Training for Geospatial-Visual Representations [90.50864830038202]
ジオタグ付き画像の自己教師型学習フレームワークであるContrastive Spatial Pre-Training(CSP)を提案する。デュアルエンコーダを用いて画像とその対応する位置情報を別々に符号化し、コントラスト目的を用いて画像から効果的な位置表現を学習する。 CSPは、様々なラベル付きトレーニングデータサンプリング比と10～34%の相対的な改善で、モデル性能を大幅に向上させる。
論文参考訳（メタデータ） (2023-05-01T23:11:18Z)
Virtual embeddings and self-consistency for self-supervised learning [43.086696088061416]
TriMixは、線形データを通じて仮想埋め込みを生成する自己教師型学習の新しい概念である。我々は,TriMixを2.71%,0.41%改善した8つのベンチマークデータセットで検証した。
論文参考訳（メタデータ） (2022-06-13T10:20:28Z)
Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文参考訳（メタデータ） (2022-03-16T16:14:19Z)
Class-Aware Contrastive Semi-Supervised Learning [51.205844705156046]
本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
論文参考訳（メタデータ） (2022-03-04T12:18:23Z)
ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文参考訳（メタデータ） (2021-07-20T06:53:07Z)
Self-Supervised Learning with Kernel Dependence Maximization [23.618292038419654]
我々はHilbert-Schmidt Independence Criterion (SSL-HSIC)による自己指導型学習を提案する。 SSL-HSICは、画像の変換されたバージョンの表現とイメージアイデンティティの依存関係を最大化する。この自己教師型学習フレームワークは、異なる変換間の相互情報(MI)の変動的下限であるInfoNCEを新たに理解する。
論文参考訳（メタデータ） (2021-06-15T17:51:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。