論文の概要: SASSL: Enhancing Self-Supervised Learning via Neural Style Transfer

• arxiv url: http://arxiv.org/abs/2312.01187v4
• Date: Sat, 02 Nov 2024 17:08:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:45:05.250401
• Title: SASSL: Enhancing Self-Supervised Learning via Neural Style Transfer
• Title（参考訳）: SASSL: ニューラルネットワークによる自己監督型学習の強化
• Authors: Renan A. Rojas-Gomez, Karan Singhal, Ali Etemad, Alex Bijamov, Warren R. Morningstar, Philip Andrew Mansfield,
• Abstract要約: SASSL: 自己監視学習のためのスタイル拡張は、ニューラルスタイル転送に基づく新しいデータ拡張技術である。 SASSLはイメージのセマンティック属性とスタイリスティック属性を分離し、コンテンツを保存しながらそのスタイルにのみ適用される。 SASSLは、イメージネット上のトップ1画像分類の精度を、確立された自己監督手法と比較して最大2ポイント向上する。
• 参考スコア（独自算出の注目度）: 20.769072160203038
• License:
• Abstract: Existing data augmentation in self-supervised learning, while diverse, fails to preserve the inherent structure of natural images. This results in distorted augmented samples with compromised semantic information, ultimately impacting downstream performance. To overcome this limitation, we propose SASSL: Style Augmentations for Self Supervised Learning, a novel data augmentation technique based on Neural Style Transfer. SASSL decouples semantic and stylistic attributes in images and applies transformations exclusively to their style while preserving content, generating diverse samples that better retain semantic information. SASSL boosts top-1 image classification accuracy on ImageNet by up to 2 percentage points compared to established self-supervised methods like MoCo, SimCLR, and BYOL, while achieving superior transfer learning performance across various datasets. Because SASSL can be performed asynchronously as part of the data augmentation pipeline, these performance impacts can be obtained with no change in pretraining throughput.
• Abstract（参考訳）: 自己教師付き学習における既存のデータ拡張は、多様ではあるが、自然画像の本質的な構造を保存できない。 この結果、乱れたセマンティック情報を持つ歪んだ拡張サンプルが、最終的に下流のパフォーマンスに影響を及ぼす。 この制限を克服するために,ニューラルネットワークを用いた新しいデータ拡張技術であるSASSL: Style Augmentations for Self Supervised Learningを提案する。 SASSLは、イメージのセマンティック属性とスタイリスティック属性を分離し、コンテンツを保持しながらそのスタイルにのみ変換を適用し、セマンティック情報をよりよく保持する多様なサンプルを生成する。 SASSLは、MoCo、SimCLR、BYOLといった既存の自己教師型メソッドと比較して、ImageNet上のトップ1イメージの分類精度を最大2パーセント向上すると同時に、さまざまなデータセット間で優れた転送学習性能を実現している。 SASSLはデータ拡張パイプラインの一部として非同期に実行できるため、これらのパフォーマンスへの影響は事前トレーニングスループットを変更することなく得ることができる。

関連論文リスト

• IPSeg: Image Posterior Mitigates Semantic Drift in Class-Incremental Segmentation [77.06177202334398]
  CISSにおけるセマンティックドリフトとデグレード性能に寄与する2つの重要な課題を特定した。 まず、モデルの異なる部分が異なる漸進的な段階に最適化されるという、別々の最適化の問題を強調します。 第二に、不適切な擬似ラベルから生じる雑音のセマンティクスを同定し、その結果、準最適結果が得られる。
  論文  参考訳（メタデータ） (2025-02-07T12:19:37Z)
• Gen-SIS: Generative Self-augmentation Improves Self-supervised Learning [52.170253590364545]
  Gen-SISは、ラベルのない画像データにのみ訓練された拡散ベースの拡張技術である。 これらの自己増強、すなわちバニラSSLエンコーダの埋め込みに基づく生成増強は、より強力なSSLエンコーダのトレーニングを促進することを示す。
  論文  参考訳（メタデータ） (2024-12-02T16:20:59Z)
• Can Generative Models Improve Self-Supervised Representation Learning? [0.7999703756441756]
  生成モデルを利用して意味論的に一貫した画像拡張を生成することにより、自己教師付き学習(SSL)パラダイムを充実させるフレームワークを提案する。 その結果,下流タスクにおいて,学習した視覚表現の精度を最大10%向上させることができた。
  論文  参考訳（メタデータ） (2024-03-09T17:17:07Z)
• Zero-Shot Learning by Harnessing Adversarial Samples [52.09717785644816]
  本稿では,HAS(Harnessing Adversarial Samples)によるZSL(Zero-Shot Learning)アプローチを提案する。 HASは3つの重要な側面を考慮に入れた敵の訓練を通じてZSLを前進させる。 本稿では,ZSLと一般化ゼロショット学習(GZSL)の両シナリオにおいて,敵対的サンプルアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-01T06:19:13Z)
• L-DAWA: Layer-wise Divergence Aware Weight Aggregation in Federated Self-Supervised Visual Representation Learning [14.888569402903562]
  自己教師付き学習(SSL)とフェデレーション付き学習(FL)をひとつのコヒーレントシステムに統合することは、データプライバシの保証を提供する可能性がある。 本稿では,FLアグリゲーションにおけるクライアントバイアスや分散の影響を軽減するため,レイヤワイド・ディバージェンス・アウェア・ウェイト・アグリゲーション(L-DAWA)と呼ばれる新たなアグリゲーション戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-14T15:07:30Z)
• Augmentation-aware Self-supervised Learning with Conditioned Projector [6.720605329045581]
  自己教師付き学習(SSL)は、ラベルのないデータから学習するための強力な技術である。 本稿では,プロジェクタネットワークを改良し,表現空間の特徴に対する感受性を高めることを提案する。 提案手法は条件拡張型自己教師学習(CASSLE)と呼ばれ,通常の共同埋め込み型SSL手法に直接適用可能である。
  論文  参考訳（メタデータ） (2023-05-31T12:24:06Z)
• CSP: Self-Supervised Contrastive Spatial Pre-Training for Geospatial-Visual Representations [90.50864830038202]
  ジオタグ付き画像の自己教師型学習フレームワークであるContrastive Spatial Pre-Training(CSP)を提案する。 デュアルエンコーダを用いて画像とその対応する位置情報を別々に符号化し、コントラスト目的を用いて画像から効果的な位置表現を学習する。 CSPは、様々なラベル付きトレーニングデータサンプリング比と10～34%の相対的な改善で、モデル性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-05-01T23:11:18Z)
• Virtual embeddings and self-consistency for self-supervised learning [43.086696088061416]
  TriMixは、線形データを通じて仮想埋め込みを生成する自己教師型学習の新しい概念である。 我々は,TriMixを2.71%,0.41%改善した8つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-06-13T10:20:28Z)
• Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
  本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。 提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。 実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-03-16T16:14:19Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• Self-Supervised Learning with Kernel Dependence Maximization [23.618292038419654]
  我々はHilbert-Schmidt Independence Criterion (SSL-HSIC)による自己指導型学習を提案する。 SSL-HSICは、画像の変換されたバージョンの表現とイメージアイデンティティの依存関係を最大化する。 この自己教師型学習フレームワークは、異なる変換間の相互情報(MI)の変動的下限であるInfoNCEを新たに理解する。
  論文  参考訳（メタデータ） (2021-06-15T17:51:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。