論文の概要: Instance-wise Hard Negative Example Generation for Contrastive Learning in Unpaired Image-to-Image Translation

• arxiv url: http://arxiv.org/abs/2108.04547v2
• Date: Wed, 11 Aug 2021 07:11:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-12 10:29:03.328078
• Title: Instance-wise Hard Negative Example Generation for Contrastive Learning in Unpaired Image-to-Image Translation
• Title（参考訳）: 画像-画像間翻訳におけるコントラスト学習のためのインスタンス単位のハード負例生成
• Authors: Weilun Wang, Wengang Zhou, Jianmin Bao, Dong Chen and Houqiang Li
• Abstract要約: 非ペア画像-画像翻訳(NEGCUT)におけるコントラスト学習のための例-wise hard Negative Example Generationを提案する。 具体的には、オンラインでネガティブな例を生成するようにジェネレータを訓練する。ジェネレータは、1)入力画像に基づいて生成されたサンプルをインスタンスワイズし、2)逆向きの損失で訓練されたので、強烈なネガティブな例を生成することができる。
• 参考スコア（独自算出の注目度）: 102.99799162482283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning shows great potential in unpaired image-to-image translation, but sometimes the translated results are in poor quality and the contents are not preserved consistently. In this paper, we uncover that the negative examples play a critical role in the performance of contrastive learning for image translation. The negative examples in previous methods are randomly sampled from the patches of different positions in the source image, which are not effective to push the positive examples close to the query examples. To address this issue, we present instance-wise hard Negative Example Generation for Contrastive learning in Unpaired image-to-image Translation (NEGCUT). Specifically, we train a generator to produce negative examples online. The generator is novel from two perspectives: 1) it is instance-wise which means that the generated examples are based on the input image, and 2) it can generate hard negative examples since it is trained with an adversarial loss. With the generator, the performance of unpaired image-to-image translation is significantly improved. Experiments on three benchmark datasets demonstrate that the proposed NEGCUT framework achieves state-of-the-art performance compared to previous methods.
• Abstract（参考訳）: コントラスト学習は画像と画像の翻訳において大きな可能性を秘めているが、翻訳結果は品質が悪く、コンテンツは一貫して保存されないこともある。 本稿では,画像翻訳における対照学習の性能に負の例が重要な役割を担っていることを明らかにする。 過去の手法における負の例は、ソースイメージ内の異なる位置のパッチからランダムにサンプリングされるが、クエリの例に近い正の例をプッシュするには効果がない。 この問題に対処するために、未ペア画像-画像翻訳(NEGCUT)におけるコントラスト学習のための否定例生成法を提案する。 具体的には、オンラインでネガティブな例を生成するためにジェネレータを訓練する。 ジェネレータは2つの観点から斬新である: 1) 生成したサンプルが入力イメージに基づくインスタンスワイズであり、2) 敵の損失でトレーニングされるため、ハードネガティブな例を生成することができる。 生成装置では、未ペア画像-画像間変換の性能が大幅に向上する。 3つのベンチマークデータセットの実験により、提案したNEGCUTフレームワークは、従来の手法と比較して最先端のパフォーマンスを達成することが示された。

関連論文リスト

• Enhancing Multimodal Compositional Reasoning of Visual Language Models with Generative Negative Mining [58.379339799777064]
  大規模視覚言語モデル(VLM)は、強力な表現能力を示し、画像およびテキスト理解タスクを強化するためにユビキタスである。 両方向のマイニングだけでなく,両方向の否定的なサンプルを生成するフレームワークを提案する。 私たちのコードとデータセットはhttps://ugorsahin.github.io/enhancing-multimodal-compositional-reasoning-of-vlm.htmlで公開されています。
  論文  参考訳（メタデータ） (2023-11-07T13:05:47Z)
• Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination [62.18768931714238]
  提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
  論文  参考訳（メタデータ） (2023-08-08T16:31:43Z)
• Clustering-Aware Negative Sampling for Unsupervised Sentence Representation [24.15096466098421]
  ClusterNSは、教師なし文表現学習のためのコントラスト学習にクラスタ情報を組み込む新しい手法である。 修正K平均クラスタリングアルゴリズムを用いて、ハードネガティブを供給し、トレーニング中にバッチ内偽陰性を認識する。
  論文  参考訳（メタデータ） (2023-05-17T02:06:47Z)
• Exploring Negatives in Contrastive Learning for Unpaired Image-to-Image Translation [12.754320302262533]
  我々は、パッチをスペーシングし、ランキング付けすることで、アンペア画像から画像への変換(PUT)のための新しい負のプルーニング技術を導入する。 提案アルゴリズムは効率的で柔軟で,対応するパッチ間で本質的な情報を安定的に学習することができる。
  論文  参考訳（メタデータ） (2022-04-23T08:31:18Z)
• Negative Sample is Negative in Its Own Way: Tailoring Negative Sentences for Image-Text Retrieval [19.161248757493386]
  本稿では, 否定文として自動的に合成文を生成するために, 識別・訂正による否定文をTAGS-DC(TAiloring Negative Sentences with Discrimination and Correction)を提案する。 トレーニング中の難易度を維持するため,パラメータ共有による検索と生成を相互に改善する。 実験では,MS-COCOおよびFlickr30Kにおけるモデルの有効性を,現在の最先端モデルと比較して検証した。
  論文  参考訳（メタデータ） (2021-11-05T09:36:41Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Contrastive Learning with Adversarial Perturbations for Conditional Text Generation [49.055659008469284]
  seq2seqモデルのコントラスト学習のための正負のサンプルを生成する原則的な方法を提案する。 具体的には、入力シーケンスに小さな摂動を加えることで、条件付き可能性を最小限に抑えるネガティブな例を生成します。 提案手法は,3つのテキスト生成タスクにおけるSeq2seqの一般化を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-12-14T06:20:27Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。