論文の概要: Exploring Negatives in Contrastive Learning for Unpaired Image-to-Image Translation

• arxiv url: http://arxiv.org/abs/2204.11018v1
• Date: Sat, 23 Apr 2022 08:31:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 12:10:03.998381
• Title: Exploring Negatives in Contrastive Learning for Unpaired Image-to-Image Translation
• Title（参考訳）: 画像対画像翻訳におけるコントラスト学習の否定性の検討
• Authors: Yupei Lin, Sen Zhang, Tianshui Chen, Yongyi Lu, Guangping Li and Yukai Shi
• Abstract要約: 我々は、パッチをスペーシングし、ランキング付けすることで、アンペア画像から画像への変換(PUT)のための新しい負のプルーニング技術を導入する。 提案アルゴリズムは効率的で柔軟で,対応するパッチ間で本質的な情報を安定的に学習することができる。
• 参考スコア（独自算出の注目度）: 12.754320302262533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unpaired image-to-image translation aims to find a mapping between the source domain and the target domain. To alleviate the problem of the lack of supervised labels for the source images, cycle-consistency based methods have been proposed for image structure preservation by assuming a reversible relationship between unpaired images. However, this assumption only uses limited correspondence between image pairs. Recently, contrastive learning (CL) has been used to further investigate the image correspondence in unpaired image translation by using patch-based positive/negative learning. Patch-based contrastive routines obtain the positives by self-similarity computation and recognize the rest patches as negatives. This flexible learning paradigm obtains auxiliary contextualized information at a low cost. As the negatives own an impressive sample number, with curiosity, we make an investigation based on a question: are all negatives necessary for feature contrastive learning? Unlike previous CL approaches that use negatives as much as possible, in this paper, we study the negatives from an information-theoretic perspective and introduce a new negative Pruning technology for Unpaired image-to-image Translation (PUT) by sparsifying and ranking the patches. The proposed algorithm is efficient, flexible and enables the model to learn essential information between corresponding patches stably. By putting quality over quantity, only a few negative patches are required to achieve better results. Lastly, we validate the superiority, stability, and versatility of our model through comparative experiments.
• Abstract（参考訳）: unpaired image-to-image translationは、ソースドメインとターゲットドメインのマッピングを見つけることを目的としている。 ソース画像の教師付きラベルの欠如を解消するため,不一致画像間の可逆的関係を前提として,サイクル一貫性に基づく画像保存手法が提案されている。 しかし、この仮定はイメージペア間の限られた対応のみを使用する。 近年,パッチベース正負学習を用いた非ペア画像翻訳における画像対応のさらなる検討にコントラスト学習(cl)が用いられている。 パッチベースのコントラストルーチンは、自己相似性計算によって正を得、残りのパッチを負と認識する。 この柔軟な学習パラダイムは、低コストで補助的な文脈情報を得る。 負は印象的なサンプル番号を持ち、好奇心を持つので、私たちは質問に基づいて調査する:全ての負は特徴の対照的な学習に必要か? 本稿では,従来のclアプローチと異なり,情報理論的な観点からの否定について検討し,パッチのスパース化とランク付けにより,非ペア画像間変換(put)のための新たな否定的プルーニング技術を導入する。 提案するアルゴリズムは効率的で柔軟性があり,対応するパッチ間の重要な情報を安定して学習できる。 品質を量以上にすることで、より良い結果を得るためには、わずかなネガティブなパッチしか必要ありません。 最後に, 比較実験により, モデルの優越性, 安定性, 汎用性を検証する。

関連論文リスト

• Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination [62.18768931714238]
  提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
  論文  参考訳（メタデータ） (2023-08-08T16:31:43Z)
• Cross-Modal Contrastive Learning for Robust Reasoning in VQA [76.1596796687494]
  視覚的質問応答(VQA)におけるマルチモーダル推論は,近年急速に進展している。 ほとんどの推論モデルは、トレーニングデータから学んだショートカットに大きく依存しています。 本稿では,ショートカット推論の除去を目的とした,単純だが効果的なクロスモーダル・コントラスト学習戦略を提案する。
  論文  参考訳（メタデータ） (2022-11-21T05:32:24Z)
• Modulated Contrast for Versatile Image Synthesis [60.304183493234376]
  MoNCEは画像のコントラストを導入し、多面的画像間距離の知覚のための校正基準を学習する。 複数の対照的な目的に対して協調的に負のサンプルのプッシュ力を変調するために,MoNCEの最適輸送を導入する。
  論文  参考訳（メタデータ） (2022-03-17T14:03:46Z)
• Robust Contrastive Learning against Noisy Views [79.71880076439297]
  ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。 提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2022-01-12T05:24:29Z)
• Robust Contrastive Learning Using Negative Samples with Diminished Semantics [23.38896719740166]
  慎重に設計された負のサンプルを生成することで、コントラスト学習がより堅牢な表現を学習できることが示される。 我々は, テクスチャベースとパッチベースの拡張という2つの手法を開発し, 負のサンプルを生成する。 また,本手法と生成したテクスチャベースサンプルを分析し,特定のイメージネットクラスを分類するにはテクスチャの特徴が不可欠であることを示す。
  論文  参考訳（メタデータ） (2021-10-27T05:38:00Z)
• Contrastive Unpaired Translation using Focal Loss for Patch Classification [0.0]
  コントラストアンペア翻訳は画像から画像への翻訳の新しい手法である。 本研究では,PatchNCE損失におけるクロスエントロピー損失の代わりに焦点損失を用いることで,モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-09-25T20:22:33Z)
• Boosting Contrastive Self-Supervised Learning with False Negative Cancellation [40.71224235172881]
  対照的な学習における根本的な問題は、偽陰性の影響を緩和することである。 偽陰性を特定するための新しい手法と、その効果を緩和するための2つの戦略を提案する。 提案手法は,既存のコントラスト学習法よりも一貫した改善を示す。
  論文  参考訳（メタデータ） (2020-11-23T22:17:21Z)
• Delving into Inter-Image Invariance for Unsupervised Visual Representations [108.33534231219464]
  画像間不変学習の役割をよりよく理解するための研究を提案する。 オンラインラベルはオフラインラベルよりも早く収束する。 半硬な負のサンプルは、硬い負のサンプルよりも信頼性が高く、偏りがない。
  論文  参考訳（メタデータ） (2020-08-26T17:44:23Z)
• Contrastive Learning for Unpaired Image-to-Image Translation [64.47477071705866]
  画像から画像への変換では、出力の各パッチは、入力中の対応するパッチの内容を、ドメインに依存しない形で反映すべきである。 本研究では,両者の相互情報を最大化するために,コントラスト学習に基づく枠組みを提案する。 筆者らのフレームワークは、画質の向上とトレーニング時間の短縮を図りながら、画像から画像への翻訳設定の一方的な翻訳を可能にすることを実証している。
  論文  参考訳（メタデータ） (2020-07-30T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。