論文の概要: SASSL: Enhancing Self-Supervised Learning via Neural Style Transfer
- arxiv url: http://arxiv.org/abs/2312.01187v3
- Date: Sat, 3 Feb 2024 23:10:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 03:57:05.718904
- Title: SASSL: Enhancing Self-Supervised Learning via Neural Style Transfer
- Title(参考訳): SASSL: ニューラルネットワークによる自己監督型学習の強化
- Authors: Renan A. Rojas-Gomez, Karan Singhal, Ali Etemad, Alex Bijamov, Warren
R. Morningstar, Philip Andrew Mansfield
- Abstract要約: SASSL: 自己監視学習のためのスタイル拡張は、ニューラルスタイル転送に基づく新しい拡張技術である。
提案手法は,既存の自己教師型手法と比較して,ImageNet上のトップ1分類精度を最大2$%向上させる。
- 参考スコア(独自算出の注目度): 22.007237455091836
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing data augmentation in self-supervised learning, while diverse, fails
to preserve the inherent structure of natural images. This results in distorted
augmented samples with compromised semantic information, ultimately impacting
downstream performance. To overcome this, we propose SASSL: Style Augmentations
for Self Supervised Learning, a novel augmentation technique based on Neural
Style Transfer. SASSL decouples semantic and stylistic attributes in images and
applies transformations exclusively to the style while preserving content,
generating diverse samples that better retain semantics. Our technique boosts
top-1 classification accuracy on ImageNet by up to 2$\%$ compared to
established self-supervised methods like MoCo, SimCLR, and BYOL, while
achieving superior transfer learning performance across various datasets.
- Abstract(参考訳): 自己教師付き学習における既存のデータ拡張は多様なが、自然画像の固有の構造を保存できない。
この結果、乱れたセマンティック情報を持つ歪んだ拡張サンプルが、最終的に下流のパフォーマンスに影響を及ぼす。
そこで我々は,ニューラルネットワークを用いた新しい拡張手法であるSASSL: Style Augmentations for Self Supervised Learningを提案する。
SASSLは、イメージのセマンティック属性とスタイリスティック属性を分離し、コンテンツを保持しながらスタイルのみに変換を適用し、セマンティクスをよりよく保持する多様なサンプルを生成する。
提案手法は,MoCo,SimCLR,BYOLなどの自己教師型手法と比較して,ImageNet上のトップ1分類精度を最大2$\%向上させると同時に,各種データセット間の転送学習性能に優れる。
関連論文リスト
- Learning at a Glance: Towards Interpretable Data-limited Continual Semantic Segmentation via Semantic-Invariance Modelling [21.114359437665364]
インクリメンタルラーニング(IL)に基づく連続意味セグメンテーション(CSS)は、人間のようなセグメンテーションモデルを開発する上で大きな取り組みである。
現在のCSSアプローチでは、古い知識の保存と新しい知識の学習のトレードオフに直面する。
我々は、CSSの効率的で堅牢で人間らしい、解釈可能なアプローチであるLearning at a Glance (LAG)を提示する。
論文 参考訳(メタデータ) (2024-07-22T07:17:52Z) - Can Generative Models Improve Self-Supervised Representation Learning? [0.7999703756441756]
本稿では、生成モデルを利用して意味論的に一貫した画像拡張を生成することによって、自己指導型学習パラダイムを充実させる新しいフレームワークを提案する。
その結果,下流タスクにおいて,学習した視覚表現の精度を最大10%向上させることができた。
論文 参考訳(メタデータ) (2024-03-09T17:17:07Z) - CLAP: Isolating Content from Style through Contrastive Learning with Augmented Prompts [11.752632557524969]
コンテンツの特徴を元の表現から切り離すために,データ拡張によるコントラスト学習を提案する。
多様なデータセットを対象とした実験では、ゼロショットと少数ショットの分類タスクが大幅に改善された。
論文 参考訳(メタデータ) (2023-11-28T03:00:59Z) - Augmentation-aware Self-supervised Learning with Conditioned Projector [15.285739610439093]
自己教師付き学習(SSL)は、ラベルのないデータから堅牢な表現を学ぶための強力な技術である。
本稿では,プロジェクタネットワークを改良し,表現空間の特徴に対する感受性を高めることを提案する。
提案手法は条件拡張型自己教師学習(CASSLE)と呼ばれ,通常の共同埋め込み型SSL手法に直接適用可能である。
論文 参考訳(メタデータ) (2023-05-31T12:24:06Z) - ALADIN-NST: Self-supervised disentangled representation learning of
artistic style through Neural Style Transfer [60.6863849241972]
我々は、画像に描かれた意味的内容から、より強く絡み合った視覚芸術スタイルの表現を学習する。
スタイルと内容の絡み合いに強く対処することで、スタイル固有のメトリクスが大きく向上することを示します。
論文 参考訳(メタデータ) (2023-04-12T10:33:18Z) - A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive
Learning [84.8813842101747]
Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。
入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。
本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
論文 参考訳(メタデータ) (2023-03-09T04:35:00Z) - Virtual embeddings and self-consistency for self-supervised learning [43.086696088061416]
TriMixは、線形データを通じて仮想埋め込みを生成する自己教師型学習の新しい概念である。
我々は,TriMixを2.71%,0.41%改善した8つのベンチマークデータセットで検証した。
論文 参考訳(メタデータ) (2022-06-13T10:20:28Z) - Imposing Consistency for Optical Flow Estimation [73.53204596544472]
プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。
本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
論文 参考訳(メタデータ) (2022-04-14T22:58:30Z) - In-N-Out Generative Learning for Dense Unsupervised Video Segmentation [89.21483504654282]
本稿では,ラベルなしビデオから視覚的対応を学習する,教師なしビデオオブジェクト(VOS)タスクに焦点を当てる。
In-aNd-Out(INO)生成学習を純粋に生成的観点から提案する。
我々のINOは、最先端の手法をかなりのマージンで上回っている。
論文 参考訳(メタデータ) (2022-03-29T07:56:21Z) - Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。
提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。
実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-03-16T16:14:19Z) - ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。
本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。
提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文 参考訳(メタデータ) (2021-07-20T06:53:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。