論文の概要: Enhanced Unsupervised Image-to-Image Translation Using Contrastive Learning and Histogram of Oriented Gradients

• arxiv url: http://arxiv.org/abs/2409.16042v2
• Date: Thu, 26 Sep 2024 13:18:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 18:04:33.291677
• Title: Enhanced Unsupervised Image-to-Image Translation Using Contrastive Learning and Histogram of Oriented Gradients
• Title（参考訳）: オブジェクト指向のコントラスト学習とヒストグラムを用いた教師なし画像間変換の強化
• Authors: Wanchen Zhao,
• Abstract要約: 本稿では,Contrastive Unpaired Translation (CUT)モデルに基づく,教師なし画像から画像への変換手法を提案する。 この新しいアプローチは、セマンティックラベルなしでも画像のセマンティック構造を確実に保存する。 本手法は,GTA5データセットから都市景観データセットのリアルな都市シーンへの合成ゲーム環境の変換について検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Image-to-Image Translation is a vital area of computer vision that focuses on transforming images from one visual domain to another while preserving their core content and structure. However, this field faces two major challenges: first, the data from the two domains are often unpaired, making it difficult to train generative adversarial networks effectively; second, existing methods tend to produce artifacts or hallucinations during image generation, leading to a decline in image quality. To address these issues, this paper proposes an enhanced unsupervised image-to-image translation method based on the Contrastive Unpaired Translation (CUT) model, incorporating Histogram of Oriented Gradients (HOG) features. This novel approach ensures the preservation of the semantic structure of images, even without semantic labels, by minimizing the loss between the HOG features of input and generated images. The method was tested on translating synthetic game environments from GTA5 dataset to realistic urban scenes in cityscapes dataset, demonstrating significant improvements in reducing hallucinations and enhancing image quality.
• Abstract（参考訳）: 画像から画像への変換はコンピュータビジョンの重要な領域であり、中心となる内容と構造を保ちながら、ある視覚領域から別の視覚領域への変換に焦点を当てている。 しかし、この分野は2つの大きな課題に直面している: 第一に、2つのドメインのデータは、しばしば損なわれ、生成的敵ネットワークを効果的に訓練することは困難である; 第二に、既存の手法は、画像生成中に人工物や幻覚を作り出す傾向があり、画像の品質が低下する。 これらの問題に対処するため,コントラストアンペアド翻訳(CUT)モデルに基づく教師なし画像・画像翻訳手法を提案し,Histogram of Oriented Gradients (HOG) の特徴を取り入れた。 この手法により、入力画像と生成された画像のHOG特徴の損失を最小限に抑えることにより、意味ラベルなしでも画像のセマンティック構造を維持できる。 本手法は,GTA5データセットから都市景観データセットのリアルな都市シーンへの合成ゲーム環境の変換について検討し,幻覚の低減と画質の向上に大きく貢献した。

関連論文リスト

• DAFT-GAN: Dual Affine Transformation Generative Adversarial Network for Text-Guided Image Inpainting [2.656795553429629]
  そこで本研究では,2つのアフィン変換生成逆数ネットワーク(DAFT-GAN)を提案する。 提案手法は, 定性評価と定量的評価の両方において, 既存のGANモデルよりも優れている。
  論文  参考訳（メタデータ） (2024-08-09T09:28:42Z)
• The Right Losses for the Right Gains: Improving the Semantic Consistency of Deep Text-to-Image Generation with Distribution-Sensitive Losses [0.35898124827270983]
  本稿では,2つの損失関数の新たな組み合わせであるフェイク・ツー・フェイク・ツー・フェイク・フェイク・ロスと,フェイク・トゥ・リアル・ロスの対比学習手法を提案する。 このアプローチをSSAGANとAttnGANの2つのベースラインモデルで検証する。 提案手法は,CUBデータセットのスタイルブロックを用いて,AttnGANの定性的な結果を改善することを示す。
  論文  参考訳（メタデータ） (2023-12-18T00:05:28Z)
• FACTUAL: A Benchmark for Faithful and Consistent Textual Scene Graph Parsing [66.70054075041487]
  画像キャプションをシーングラフに変換する既存のシーングラフは、しばしば2種類のエラーに悩まされる。 まず、生成されたシーングラフはキャプションや対応する画像の真の意味を捉えず、忠実さの欠如をもたらす。 第二に、生成されたシーングラフは一貫性が高く、同じセマンティクスは異なるアノテーションで表される。
  論文  参考訳（メタデータ） (2023-05-27T15:38:31Z)
• Wavelet-based Unsupervised Label-to-Image Translation [9.339522647331334]
  本稿では、自己教師付きセグメンテーション損失と全画像ウェーブレットに基づく識別を併用した、SIS(USIS)のための新しいアン教師付きパラダイムを提案する。 3つの挑戦的なデータセットで方法論を検証し、ペアモデルとアンペアモデルのパフォーマンスギャップを橋渡しする能力を実証する。
  論文  参考訳（メタデータ） (2023-05-16T17:48:44Z)
• Unsupervised Image-to-Image Translation with Generative Prior [103.54337984566877]
  教師なし画像画像変換は、ペアデータなしで2つの視覚領域間の翻訳を学習することを目的としている。 本稿では,GP-UNIT(Generative Prior-guided UN Image-to-image Translation)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:23Z)
• IR-GAN: Image Manipulation with Linguistic Instruction by Increment Reasoning [110.7118381246156]
  Incrment Reasoning Generative Adversarial Network (IR-GAN)は、画像における視覚的インクリメントと命令における意味的インクリメントとの整合性を推論することを目的としている。 まず,単語レベルと命令レベルの命令エンコーダを導入し,履歴関連命令からユーザの意図を意味的インクリメントとして学習する。 第2に、対象画像を生成するために、意味的インクリメントの表現をソースイメージに組み込んで、ソースイメージが補助的参照の役割を担っている。
  論文  参考訳（メタデータ） (2022-04-02T07:48:39Z)
• USIS: Unsupervised Semantic Image Synthesis [9.613134538472801]
  セマンティック画像合成(USIS)のための新しい教師なしパラダイムを提案する。 USISは、自己教師付きセグメンテーションロスを使用して、視覚的に分離可能なセグメンテーションクラスで画像を出力することを学ぶ。 実画像の色とテクスチャの分布を高周波数情報を失うことなく一致させるため,ウェーブレットを用いた識別手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T20:48:41Z)
• Dual Graph Convolutional Networks with Transformer and Curriculum Learning for Image Captioning [26.496357517937614]
  既存の画像キャプション手法は、単一のイメージ内のオブジェクトやインスタンスの関係を理解することだけに焦点を当てている。 画像キャプションのための変換器とカリキュラム学習を備えたデュアルグラフ畳み込みネットワーク(Dual-GCN)を提案する。
  論文  参考訳（メタデータ） (2021-08-05T04:57:06Z)
• Towards Unsupervised Deep Image Enhancement with Generative Adversarial Network [92.01145655155374]
  監視されていない画像強調生成ネットワーク(UEGAN)を提案する。 教師なしの方法で所望の特性を持つ画像の集合から、対応する画像と画像のマッピングを学習する。 その結果,提案モデルは画像の美的品質を効果的に向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:22:46Z)
• Semantic Photo Manipulation with a Generative Image Prior [86.01714863596347]
  GANは、ユーザスケッチ、テキスト、セマンティックラベルなどの入力に条件付きイメージを合成することができる。 GANが入力画像を正確に再現することは困難である。 本稿では,GANが以前に学んだイメージを個々の画像の統計に適応させることにより,これらの問題に対処する。 提案手法は,入力画像の外観と一致して,入力画像を正確に再構成し,新たなコンテンツを合成することができる。
  論文  参考訳（メタデータ） (2020-05-15T18:22:05Z)
• Domain Adaptation for Image Dehazing [72.15994735131835]
  既存のほとんどの方法は、合成ヘイズ画像のデハージングモデルを訓練するが、ドメインシフトによる実際のヘイズ画像の一般化は困難である。 画像変換モジュールと2つの画像デハージングモジュールからなるドメイン適応パラダイムを提案する。 実世界の合成画像と実世界の画像の両方で実験結果から,我々のモデルは最先端の脱ハージングアルゴリズムに対して好適に機能することが示された。
  論文  参考訳（メタデータ） (2020-05-10T13:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。