論文の概要: Directional Self-supervised Learning for Risky Image Augmentations

• arxiv url: http://arxiv.org/abs/2110.13555v1
• Date: Tue, 26 Oct 2021 10:33:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 14:55:50.251920
• Title: Directional Self-supervised Learning for Risky Image Augmentations
• Title（参考訳）: リスク画像強化のための方向性自己教師型学習
• Authors: Yalong Bai, Yifan Yang, Wei Zhang, Tao Mei
• Abstract要約: 堅牢な拡張ポリシーのための指向性自己教師型学習パラダイム(DSSL)を提案する。 DSSLは数行のPseudocodeで簡単に実装でき、人気のある自己教師型学習フレームワークに非常に柔軟である。
• 参考スコア（独自算出の注目度）: 54.43314754436954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Only a few cherry-picked robust augmentation policies are beneficial to standard self-supervised image representation learning, despite the large augmentation family. In this paper, we propose a directional self-supervised learning paradigm (DSSL), which is compatible with significantly more augmentations. Specifically, we adapt risky augmentation policies after standard views augmented by robust augmentations, to generate harder risky view (RV). The risky view usually has a higher deviation from the original image than the standard robust view (SV). Unlike previous methods equally pairing all augmented views for symmetrical self-supervised training to maximize their similarities, DSSL treats augmented views of the same instance as a partially ordered set (SV$\leftrightarrow $SV, SV$\leftarrow$RV), and then equips directional objective functions respecting to the derived relationships among views. DSSL can be easily implemented with a few lines of Pseudocode and is highly flexible to popular self-supervised learning frameworks, including SimCLR, SimSiam, BYOL. The extensive experimental results on CIFAR and ImageNet demonstrated that DSSL can stably improve these frameworks with compatibility to a wider range of augmentations.
• Abstract（参考訳）: チェリーピックされた頑健な拡大政策は、大規模な拡大家族にもかかわらず、標準的な自己監督型画像表現学習にとって有益である。 本稿では,より一層の強化と互換性のある指向性自己教師付き学習パラダイム(dssl)を提案する。 具体的には、ロバストな拡張によって強化された標準ビューの後にリスクの増大ポリシーを適用し、より困難なリスクビュー(RV)を生成する。 リスク・ビューは通常、標準のロバスト・ビュー(SV)よりも原画像との偏差が大きい。 対称的自己教師型トレーニングのためのすべての拡張ビューを等しく組み合わせてそれらの類似性を最大化する従来の方法とは異なり、DSSLは、部分的に順序付けられた集合(SV$\leftrightarrow $SV, SV$\leftarrow$RV)と同じインスタンスの強化ビューを扱い、ビュー間の派生関係に関する目的目的関数を割り当てる。 DSSLは数行のPseudocodeで簡単に実装でき、SimCLR、SimSiam、BYOLといった一般的な自己教師型学習フレームワークに非常に柔軟である。 CIFARとImageNetの広範な実験結果は、DSSLがこれらのフレームワークをより広範な拡張に互換性を持って安定的に改善できることを示した。

関連論文リスト

• Hierarchical Consistent Contrastive Learning for Skeleton-Based Action Recognition with Growing Augmentations [33.68311764817763]
  骨格に基づく行動認識のための一般的な階層的一貫したコントラスト学習フレームワーク(HiCLR)を提案する。 具体的には、まず段階的に増大する拡張ポリシーを設計し、複数の順序の正のペアを生成する。 そこで,方向クラスタリング操作による階層的整合性を実現するために,非対称な損失を提案する。
  論文  参考訳（メタデータ） (2022-11-24T08:09:50Z)
• RegCLR: A Self-Supervised Framework for Tabular Representation Learning in the Wild [1.5187073409911216]
  コントラストと正規化メソッドを組み合わせた,新たな自己教師型フレームワークであるRegCLRを紹介します。 RegCLRは標準のVision Transformerアーキテクチャと互換性がある。 いくつかの実世界のテーブル認識シナリオは、この新しいフレームワークから学んだ表現から大きな恩恵を受けることが示されている。
  論文  参考訳（メタデータ） (2022-11-02T14:39:56Z)
• Does Self-supervised Learning Really Improve Reinforcement Learning from Pixels? [42.404871049605084]
  SSLとRLの損失を共同で最適化するコントラスト強化学習フレームワーク(例:CURL)を拡張します。 我々の観察では、既存のRLのSSLフレームワークは、ベースラインよりも有意義な改善をもたらしていないことを示唆している。 実際のロボット環境を含む複数の異なる環境におけるアプローチの評価を行った。
  論文  参考訳（メタデータ） (2022-06-10T17:59:30Z)
• Masked Autoencoders are Robust Data Augmentors [90.34825840657774]
  ディープニューラルネットワークの一般化には、画像拡張のような正規化技術が必要である。 本稿では,トレーニングプロセスの正規化に向けて,新たな拡張の視点を提案する。 このようなモデルに基づく非線形変換をデータ拡張として活用することで,高レベルの認識タスクを向上できることを示す。
  論文  参考訳（メタデータ） (2022-06-10T02:41:48Z)
• Residual Relaxation for Multi-view Representation Learning [64.40142301026805]
  マルチビュー手法は、同じ画像の複数のビューをアライメントすることで学習する。 画像回転などの有用な拡張は、セマンティックシフトを引き起こすため、多視点法には有害である。 我々は,Pretext-aware Residual Relaxation (Prelax) という汎用的な手法を開発し,正確なアライメントを緩和する。
  論文  参考訳（メタデータ） (2021-10-28T17:57:17Z)
• Augmentation Pathways Network for Visual Recognition [61.33084317147437]
  本稿では,より広範な拡張ポリシーのトレーニングを安定させるために,Augmentation Pathways (AP)を導入している。 APは、重いデータ拡張をテーパーし、拡張ポリシーの慎重に選択することなく、安定してパフォーマンスを向上させる。 ImageNetベンチマークの実験結果は、より広い範囲の拡張における互換性と有効性を示している。
  論文  参考訳（メタデータ） (2021-07-26T06:54:53Z)
• SECANT: Self-Expert Cloning for Zero-Shot Generalization of Visual Policies [87.78260740602674]
  総合化は強化学習(RL)の長年にわたる課題である。 本研究では,ゼロショットの一般化を目標としたロバストなポリシー学習を,大規模な分布シフトを伴う視覚環境に対して検討する。 本稿では,2段階のイメージ拡張を利用して,ロバスト表現学習をポリシー最適化から切り離す,新たな自己経験的クローニング手法であるSECANTを提案する。
  論文  参考訳（メタデータ） (2021-06-17T17:28:18Z)
• Contrastive Learning with Stronger Augmentations [63.42057690741711]
  本論文では,現在のコントラスト学習のアプローチを補完する,より強い拡張(A)によるコントラスト学習という汎用フレームワークを提案する。 ここでは、表現バンク上の弱強調画像と強拡張画像との間の分布のばらつきを利用して、強拡張クエリの検索を監督する。 実験では、強力な画像からの情報により、パフォーマンスが大幅に向上します。
  論文  参考訳（メタデータ） (2021-04-15T18:40:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。