論文の概要: Retrieval Augmented Image Harmonization

• arxiv url: http://arxiv.org/abs/2412.13916v1
• Date: Wed, 18 Dec 2024 14:56:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:47:52.109899
• Title: Retrieval Augmented Image Harmonization
• Title（参考訳）: 検索画像の高調波化
• Authors: Haolin Wang, Ming Liu, Zifei Yan, Chao Zhou, Longan Xiao, Wangmeng Zuo,
• Abstract要約: 本稿では,検索強化画像調和(Raiha)フレームワークを提案する。 適切な参照画像を求め、不備を減らし、注意を制限し、有用な情報を活用する。 Raihaフレームワークは、非参照および検索拡張設定の両方で大幅に強化されている。
• 参考スコア（独自算出の注目度）: 47.377530051943275
• License:
• Abstract: When embedding objects (foreground) into images (background), considering the influence of photography conditions like illumination, it is usually necessary to perform image harmonization to make the foreground object coordinate with the background image in terms of brightness, color, and etc. Although existing image harmonization methods have made continuous efforts toward visually pleasing results, they are still plagued by two main issues. Firstly, the image harmonization becomes highly ill-posed when there are no contents similar to the foreground object in the background, making the harmonization results unreliable. Secondly, even when similar contents are available, the harmonization process is often interfered with by irrelevant areas, mainly attributed to an insufficient understanding of image contents and inaccurate attention. As a remedy, we present a retrieval-augmented image harmonization (Raiha) framework, which seeks proper reference images to reduce the ill-posedness and restricts the attention to better utilize the useful information. Specifically, an efficient retrieval method is designed to find reference images that contain similar objects as the foreground while the illumination is consistent with the background. For training the Raiha framework to effectively utilize the reference information, a data augmentation strategy is delicately designed by leveraging existing non-reference image harmonization datasets. Besides, the image content priors are introduced to ensure reasonable attention. With the presented Raiha framework, the image harmonization performance is greatly boosted under both non-reference and retrieval-augmented settings. The source code and pre-trained models will be publicly available.
• Abstract（参考訳）: 被写体(地上)を画像(背景)に埋め込む場合、照明などの撮影条件の影響を考慮すると、明度、色などの観点から、前景オブジェクトを背景画像と協調させるために、通常、画像調和を行う必要がある。 既存の画像調和法は、結果を視覚的に喜ばせるために継続的な努力をしてきたが、それでも2つの主要な問題に悩まされている。 まず、背景にある前景オブジェクトに類似した内容がない場合、画像調和が極めて悪くなるため、調和結果の信頼性が低下する。 第2に、類似コンテンツが利用可能である場合でも、主に画像内容の理解が不十分で注意が不正確なため、無関係な領域によって調和処理が阻害されることがしばしばある。 本稿では,適切な参照画像を求める検索強化画像調和(Raiha)フレームワークを提案する。 具体的には、照度が背景と一致している間に、前景と類似したオブジェクトを含む参照画像を見つけるために、効率的な検索方法が設計されている。 参照情報を効果的に活用するためのRaihaフレームワークのトレーニングには、既存の非参照画像調和データセットを活用することにより、データ拡張戦略を微妙に設計する。 さらに、適切な注意力を確保するために、画像コンテンツ先行情報を導入する。 提示されたRaihaフレームワークでは、非参照および検索拡張設定の両方で画像調和性能が大幅に向上する。 ソースコードと事前訓練されたモデルが公開される。

関連論文リスト

• Consistent Human Image and Video Generation with Spatially Conditioned Diffusion [82.4097906779699]
  一貫性のある人中心画像とビデオ合成は、所定の参照画像との外観整合性を維持しつつ、新しいポーズを持つ画像を生成することを目的としている。 我々は,課題を空間条件付き塗装問題とみなし,対象画像をインペイントして参照との外観整合性を維持する。 このアプローチにより、参照機能により、統一された認知ネットワーク内でのポーズ準拠のターゲットの生成をガイドすることができる。
  論文  参考訳（メタデータ） (2024-12-19T05:02:30Z)
• Learning Flow Fields in Attention for Controllable Person Image Generation [59.10843756343987]
  制御可能な人物画像生成は、参照画像に条件付けされた人物画像を生成することを目的としている。 そこで本研究では,対象クエリに対して,適切な参照キーへの参照を明示的にガイドする学習フロー場(Leffa)を提案する。 Leffaは外観(仮想試行)とポーズ(目的移動)の制御における最先端のパフォーマンスを実現し、細かなディテール歪みを著しく低減する。
  論文  参考訳（メタデータ） (2024-12-11T15:51:14Z)
• Intrinsic Harmonization for Illumination-Aware Compositing [0.7366405857677227]
  固有画像領域で定式化された自己教師付き照明調和方式を提案する。 まず、中間レベルの視覚表現から簡単な大域照明モデルを推定し、前景領域の粗いシェーディングを生成する。 ネットワークはこの推論シェーディングを洗練し、背景のシーンと整合する再シェーディングを生成する。
  論文  参考訳（メタデータ） (2023-12-06T18:59:03Z)
• Image Harmonization with Region-wise Contrastive Learning [51.309905690367835]
  本稿では,外部スタイルの融合と領域単位のコントラスト学習方式を備えた新しい画像調和フレームワークを提案する。 提案手法は, 前景と背景の相互情報を最大化することにより, 対応する正と負のサンプルをまとめることを試みる。
  論文  参考訳（メタデータ） (2022-05-27T15:46:55Z)
• Interactive Portrait Harmonization [99.15331091722231]
  現在の画像調和法は、背景全体を調和のためのガイダンスと見なしている。 背景画像の特定の領域を選択して、調和を導くための新しいフレキシブルなフレームワークが提案されている。 プロのポートレートハーモニゼーション利用者に触発されて、合成フォアグラウンドと選択基準領域の間の色/輝度条件を最適に整合させる新しい輝度マッチング損失も導入する。
  論文  参考訳（メタデータ） (2022-03-15T19:30:34Z)
• SSH: A Self-Supervised Framework for Image Harmonization [97.16345684998788]
  我々は、編集せずに「自由」な自然画像だけで訓練できる新しい自己改善調和フレームワーク(SSH)を提案する。 提案したSSHは,基準指標,視覚的品質,主観的ユーザスタディにおいて,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-15T19:51:33Z)
• Region-aware Adaptive Instance Normalization for Image Harmonization [14.77918186672189]
  フォトリアリスティックな合成画像を得るためには、背景と互換性のある前景の外観と視覚スタイルを調整する必要がある。 合成画像の調和のための既存のディープラーニング手法は、合成画像から実画像へのマッピングネットワークを直接学習する。 本研究では、背景から視覚スタイルを明示的に定式化し、前景に適応的に適用する、領域対応適応型インスタンス正規化(RAIN)モジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-05T09:57:17Z)
• BargainNet: Background-Guided Domain Translation for Image Harmonization [26.370523451625466]
  不調和な前景と背景は合成画像の品質を低下させる。 整合性を改善するために前景を調整した画像調和は、不可欠だが難しい課題である。 本稿では,新しいドメインコード抽出器とよく調整された三重項損失を用いた画像調和ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-09-19T05:14:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。