論文の概要: ViewMix: Augmentation for Robust Representation in Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2309.03360v1
• Date: Wed, 6 Sep 2023 21:04:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 14:58:30.323860
• Title: ViewMix: Augmentation for Robust Representation in Self-Supervised Learning
• Title（参考訳）: ViewMix: 自己指導型学習におけるロバスト表現の拡張
• Authors: Arjon Das, Xin Zhong
• Abstract要約: 統合埋め込みアーキテクチャに基づく自己教師型学習手法は、データ拡張の構成を、その強力な表現学習能力の重要な要素とみなしている。 自己教師型学習に特化して設計されたViewMix拡張ポリシーを提案し,同じ画像の異なるビューを生成すると,パッチをカット&ペーストする。 また、ViewMix拡張ポリシーの導入は、最先端手法における表現の堅牢性を促進することも実証された。
• 参考スコア（独自算出の注目度）: 1.6589012298747952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Joint Embedding Architecture-based self-supervised learning methods have attributed the composition of data augmentations as a crucial factor for their strong representation learning capabilities. While regional dropout strategies have proven to guide models to focus on lesser indicative parts of the objects in supervised methods, it hasn't been adopted by self-supervised methods for generating positive pairs. This is because the regional dropout methods are not suitable for the input sampling process of the self-supervised methodology. Whereas dropping informative pixels from the positive pairs can result in inefficient training, replacing patches of a specific object with a different one can steer the model from maximizing the agreement between different positive pairs. Moreover, joint embedding representation learning methods have not made robustness their primary training outcome. To this end, we propose the ViewMix augmentation policy, specially designed for self-supervised learning, upon generating different views of the same image, patches are cut and pasted from one view to another. By leveraging the different views created by this augmentation strategy, multiple joint embedding-based self-supervised methodologies obtained better localization capability and consistently outperformed their corresponding baseline methods. It is also demonstrated that incorporating ViewMix augmentation policy promotes robustness of the representations in the state-of-the-art methods. Furthermore, our experimentation and analysis of compute times suggest that ViewMix augmentation doesn't introduce any additional overhead compared to other counterparts.
• Abstract（参考訳）: 統合埋め込みアーキテクチャに基づく自己教師型学習手法は、データ拡張の構成を、その強力な表現学習能力の重要な要素とみなしている。 地域的なドロップアウト戦略は、教師付き手法におけるオブジェクトのより少ない指示的部分に焦点を合わせるためにモデルを導くことが証明されているが、正のペアを生成する自己監督手法では採用されていない。 これは,地域ドロップアウト手法が自己管理手法の入力サンプリングプロセスに適していないためである。 正の対から情報画素を落とすことは非効率な訓練をもたらすが、特定の物体のパッチを別の対に置き換えることで、異なる正の対間の一致を最大化することを防ぐことができる。 さらに, 共同埋め込み表現学習法は, 初等訓練結果の頑健さを損なわない。 そこで本稿では,画像の異なるビューを生成する際に,各ビューから別のビューへパッチをカット・ペーストする,自己教師型学習のためのViewMix拡張ポリシーを提案する。 この拡張戦略によって生み出された異なる視点を活用することで、複数のジョイント埋め込みベースの自己監督手法がより優れたローカライゼーション能力を獲得し、対応するベースライン手法を一貫して上回った。 また,viewmix拡張ポリシーの導入により,最先端手法における表現の堅牢性が向上することが示されている。 さらに, 計算時間の実験と解析により, ViewMix のオーバヘッドが他の計算時間に比べて増加しないことが示された。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning [32.18543787821028]
  本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。 公平な比較で最先端のパフォーマンスを達成する。 提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-16T15:47:49Z)
• Self-Supervised Image Representation Learning: Transcending Masking with Paired Image Overlay [10.715255809531268]
  本稿では,自己教師型学習には適用されていない画像のオーバーレイ化という,新たな画像強調手法を提案する。 提案手法は,ダウンストリームタスクにおいて確固とした性能を示す自己教師付き学習手法であるコントラスト学習を用いて評価する。
  論文  参考訳（メタデータ） (2023-01-23T07:00:04Z)
• Towards Efficient and Effective Self-Supervised Learning of Visual Representations [41.92884427579068]
  自己監督は視覚的表現学習のための提案的な方法として現れてきた。 より高速に収束する適切な補助タスクを用いて,これらの手法を強化することを提案する。 提案手法は回転予測のタスクを利用して,既存の最先端手法の効率を向上させる。
  論文  参考訳（メタデータ） (2022-10-18T13:55:25Z)
• R\'enyiCL: Contrastive Representation Learning with Skew R\'enyi Divergence [78.15455360335925]
  我々はR'enyiCLという新しい頑健なコントラスト学習手法を提案する。 我々の手法は R'enyi divergence の変動的下界の上に構築されている。 我々は,R'enyi の対照的な学習目的が,自然に強い負のサンプリングと簡単な正のサンプリングを同時に行うことを示す。
  論文  参考訳（メタデータ） (2022-08-12T13:37:05Z)
• Evaluation of Self-taught Learning-based Representations for Facial Emotion Recognition [62.30451764345482]
  この研究は、顔の感情認識のための自己学習の概念を通じて得られた教師なし表現を生成するための様々な戦略を記述する。 このアイデアは、オートエンコーダの初期化、アーキテクチャ、トレーニングデータを変化させることで、多様性を促進する補完的な表現を作ることである。 Jaffe と Cohn-Kanade のデータセットに対する残余のサブジェクトアウトプロトコルによる実験結果から,提案した多種多様な表現に基づく FER 手法が最先端のアプローチと好適に比較できることが示唆された。
  論文  参考訳（メタデータ） (2022-04-26T22:48:15Z)
• Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
  本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。 提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。 実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-03-16T16:14:19Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Joint Generative and Contrastive Learning for Unsupervised Person Re-identification [15.486689594217273]
  最近の自己指導型コントラスト学習は、教師なしの人物再識別(ReID)に効果的なアプローチを提供する 本稿では,GAN(Generative Adversarial Network)とコントラスト学習モジュールを1つのジョイントトレーニングフレームワークに統合する。
  論文  参考訳（メタデータ） (2020-12-16T16:49:57Z)
• Self-supervised Co-training for Video Representation Learning [103.69904379356413]
  実例に基づく情報ノイズコントラスト推定訓練に意味クラス正の付加を施すことの利点について検討する。 本稿では,インフォネッションNCEの損失を改善するための,自己指導型協調学習手法を提案する。 本研究では,2つの下流タスク(行動認識とビデオ検索)における学習表現の質を評価する。
  論文  参考訳（メタデータ） (2020-10-19T17:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。