論文の概要: Rethinking Rotation in Self-Supervised Contrastive Learning: Adaptive Positive or Negative Data Augmentation

• arxiv url: http://arxiv.org/abs/2210.12681v1
• Date: Sun, 23 Oct 2022 09:37:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 17:19:58.690843
• Title: Rethinking Rotation in Self-Supervised Contrastive Learning: Adaptive Positive or Negative Data Augmentation
• Title（参考訳）: 自己監督型コントラスト学習における回転の再考:適応的正あるいは負のデータ増大
• Authors: Atsuyuki Miyai, Qing Yu, Daiki Ikami, Go Irie, Kiyoharu Aizawa
• Abstract要約: PNDA(Adaptive Positive or Negative Data Augmentation)を新たに提案する。 PNDAでは、原画像とその回転画像は、意味的に近い場合、正の対であり、意味的に異なる場合、負の対である。 実験の結果,PNDAはコントラスト学習の性能を向上させることがわかった。
• 参考スコア（独自算出の注目度）: 50.21289052547294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rotation is frequently listed as a candidate for data augmentation in contrastive learning but seldom provides satisfactory improvements. We argue that this is because the rotated image is always treated as either positive or negative. The semantics of an image can be rotation-invariant or rotation-variant, so whether the rotated image is treated as positive or negative should be determined based on the content of the image. Therefore, we propose a novel augmentation strategy, adaptive Positive or Negative Data Augmentation (PNDA), in which an original and its rotated image are a positive pair if they are semantically close and a negative pair if they are semantically different. To achieve PNDA, we first determine whether rotation is positive or negative on an image-by-image basis in an unsupervised way. Then, we apply PNDA to contrastive learning frameworks. Our experiments showed that PNDA improves the performance of contrastive learning. The code is available at \url{ https://github.com/AtsuMiyai/rethinking_rotation}.
• Abstract（参考訳）: ローテーションは、コントラスト学習におけるデータ拡張の候補としてしばしば挙げられるが、満足できる改善はめったにない。 これは、回転した画像が常に正または負のものとして扱われるためである。 画像のセマンティクスは回転不変あるいは回転不変であり、回転した画像が正か負かは画像の内容に基づいて決定されるべきである。 そこで,本研究では,オリジナル画像とその回転画像が意味的に近接している場合と,意味的に異なる場合の負のペアを正のペアとする,新しい拡張戦略であるadaptive positive or negative data augmentation (pnda)を提案する。 PNDAを実現するために、まず、画像ごとの回転が正か負かを教師なしの方法で判定する。 そして、PNDAを対照的な学習フレームワークに適用する。 実験の結果,PNDAはコントラスト学習の性能を向上させることがわかった。 コードは \url{ https://github.com/atsumiyai/rethinking_rotation} で入手できる。

関連論文リスト

• Robust image representations with counterfactual contrastive learning [17.273155534515393]
  因果画像合成の最近の進歩を生かした新しいフレームワークである反ファクト・コントラスト学習を導入する。 提案手法は,5つのデータセットで評価され,獲得シフトに対するロバスト性の観点から,標準的なコントラスト学習よりも優れていた。 さらなる実験により、提案フレームワークは買収シフトを超えて拡張され、反実的コントラスト学習で訓練されたモデルは、生物学的セックスにおけるサブグループパフォーマンスを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-09-16T15:11:00Z)
• Similarity Contrastive Estimation for Image and Video Soft Contrastive Self-Supervised Learning [0.22940141855172028]
  本稿では,インスタンス間の意味的類似性を用いたコントラスト学習の新たな定式化を提案する。 私たちのトレーニングの目標はソフトコントラストで、ポジティブに近づき、ネガティブなインスタンスを押したり引っ張ったりするための継続的分布を見積もります。 我々は,SCEが映像表現を事前学習するための最先端の結果に到達し,学習された表現が映像下流タスクに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-21T16:56:55Z)
• Debiased Contrastive Learning of Unsupervised Sentence Representations [88.58117410398759]
  コントラスト学習は、事前訓練された言語モデル(PLM)を改善し、高品質な文表現を導き出すのに有効である。 以前の作業は、主にランダムにトレーニングデータからバッチ内陰性またはサンプルを採用する。 我々はこれらの不適切な負の影響を軽減するための新しいフレームワーク textbfDCLR を提案する。
  論文  参考訳（メタデータ） (2022-05-02T05:07:43Z)
• Exploring Negatives in Contrastive Learning for Unpaired Image-to-Image Translation [12.754320302262533]
  我々は、パッチをスペーシングし、ランキング付けすることで、アンペア画像から画像への変換(PUT)のための新しい負のプルーニング技術を導入する。 提案アルゴリズムは効率的で柔軟で,対応するパッチ間で本質的な情報を安定的に学習することができる。
  論文  参考訳（メタデータ） (2022-04-23T08:31:18Z)
• Residual Relaxation for Multi-view Representation Learning [64.40142301026805]
  マルチビュー手法は、同じ画像の複数のビューをアライメントすることで学習する。 画像回転などの有用な拡張は、セマンティックシフトを引き起こすため、多視点法には有害である。 我々は,Pretext-aware Residual Relaxation (Prelax) という汎用的な手法を開発し,正確なアライメントを緩和する。
  論文  参考訳（メタデータ） (2021-10-28T17:57:17Z)
• Inverse Problems Leveraging Pre-trained Contrastive Representations [88.70821497369785]
  破損したデータの表現を復元するための新しい逆問題群について検討する。 コントラスト目的を用いた教師付きインバージョン手法を提案する。 提案手法は,幅広いフォワード演算子においてラベル付きデータのごく一部であっても,エンド・ツー・エンドのベースラインよりも優れる。
  論文  参考訳（メタデータ） (2021-10-14T15:06:30Z)
• ISD: Self-Supervised Learning by Iterative Similarity Distillation [39.60300771234578]
  自己教師付き学習アルゴリズムを導入し,正対と負対の区別ではなく,負のイメージに対してソフトな類似性を用いる。 転送学習におけるBYOLやMoCoといった最先端モデルと比較すると,より優れた結果が得られる。
  論文  参考訳（メタデータ） (2020-12-16T20:50:17Z)
• Boosting Contrastive Self-Supervised Learning with False Negative Cancellation [40.71224235172881]
  対照的な学習における根本的な問題は、偽陰性の影響を緩和することである。 偽陰性を特定するための新しい手法と、その効果を緩和するための2つの戦略を提案する。 提案手法は,既存のコントラスト学習法よりも一貫した改善を示す。
  論文  参考訳（メタデータ） (2020-11-23T22:17:21Z)
• Contrastive Learning for Unpaired Image-to-Image Translation [64.47477071705866]
  画像から画像への変換では、出力の各パッチは、入力中の対応するパッチの内容を、ドメインに依存しない形で反映すべきである。 本研究では,両者の相互情報を最大化するために,コントラスト学習に基づく枠組みを提案する。 筆者らのフレームワークは、画質の向上とトレーニング時間の短縮を図りながら、画像から画像への翻訳設定の一方的な翻訳を可能にすることを実証している。
  論文  参考訳（メタデータ） (2020-07-30T17:59:58Z)
• Whitening for Self-Supervised Representation Learning [129.57407186848917]
  本稿では,潜在空間の特徴の白化に基づく自己教師付き表現学習(SSL)のための新しい損失関数を提案する。 我々の解は非対称なネットワークを必要とせず、概念的には単純である。
  論文  参考訳（メタデータ） (2020-07-13T12:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。