論文の概要: Spatial Transformation for Image Composition via Correspondence Learning
- arxiv url: http://arxiv.org/abs/2207.02398v1
- Date: Wed, 6 Jul 2022 01:52:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-07 13:58:46.782625
- Title: Spatial Transformation for Image Composition via Correspondence Learning
- Title(参考訳): 対応学習による画像合成のための空間変換
- Authors: Bo Zhang and Yue Liu and Kaixin Lu and Li Niu and Liqing Zhang
- Abstract要約: 本研究では,前景と背景の対応をモデル化する新しい対応学習ネットワーク(CorrelNet)を提案する。
提案するCorrelNetは,従来の手法よりも好意的に動作する。
- 参考スコア(独自算出の注目度): 28.504419429582068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When using cut-and-paste to acquire a composite image, the geometry
inconsistency between foreground and background may severely harm its fidelity.
To address the geometry inconsistency in composite images, several existing
works learned to warp the foreground object for geometric correction. However,
the absence of annotated dataset results in unsatisfactory performance and
unreliable evaluation. In this work, we contribute a Spatial TRAnsformation for
virtual Try-on (STRAT) dataset covering three typical application scenarios.
Moreover, previous works simply concatenate foreground and background as input
without considering their mutual correspondence. Instead, we propose a novel
correspondence learning network (CorrelNet) to model the correspondence between
foreground and background using cross-attention maps, based on which we can
predict the target coordinate that each source coordinate of foreground should
be mapped to on the background. Then, the warping parameters of foreground
object can be derived from pairs of source and target coordinates.
Additionally, we learn a filtering mask to eliminate noisy pairs of coordinates
to estimate more accurate warping parameters. Extensive experiments on our
STRAT dataset demonstrate that our proposed CorrelNet performs more favorably
against previous methods.
- Abstract(参考訳): 複合画像を取得するためにカット・アンド・ペーストを使用する場合、前景と背景の間の幾何学的不整合は、その忠実さを著しく損なう可能性がある。
合成画像における幾何の不整合に対処するために、幾何補正のために前景オブジェクトをワープすることを学んだ。
しかし、注釈付きデータセットがないことは、満足のいくパフォーマンスと信頼できない評価をもたらす。
本研究では,3つの典型的なアプリケーションシナリオをカバーする仮想試行(STRAT)データセットの空間的トラスフォームを提案する。
また、前者の相互対応を考慮せずに、前景と背景を入力として結合する。
そこで我々は,前景と背景の対応関係を相互アテンションマップを用いてモデル化する新しい対応学習ネットワーク(CorrelNet)を提案する。
次に、前景オブジェクトのワーピングパラメータをソース座標とターゲット座標のペアから導出することができる。
さらに,ノイズの多い座標対を除去し,より正確な反りパラメータを推定するためのフィルタリングマスクを学習した。
stratデータセットの広範な実験により,提案するcorrelnetは従来手法よりも優れた性能を示す。
関連論文リスト
- PairingNet: A Learning-based Pair-searching and -matching Network for
Image Fragments [6.694162736590122]
本稿では,難解な修復問題を解決するために,学習に基づくイメージフラグメントのペア探索とマッチング手法を提案する。
提案するネットワークは,ペア探索の精度に優れ,マッチングエラーを低減し,計算時間を大幅に短縮する。
論文 参考訳(メタデータ) (2023-12-14T07:43:53Z) - Neural Semantic Surface Maps [52.61017226479506]
本稿では,2つの属とゼロの形状の地図を自動計算する手法を提案する。
提案手法は,手動のアノテーションや3Dトレーニングデータ要求を排除し,意味的表面-表面マップを生成する。
論文 参考訳(メタデータ) (2023-09-09T16:21:56Z) - Explicit Correspondence Matching for Generalizable Neural Radiance
Fields [49.49773108695526]
本稿では,新たな未知のシナリオに一般化し,2つのソースビューで新規なビュー合成を行う新しいNeRF手法を提案する。
明瞭な対応マッチングは、異なるビュー上の3Dポイントの2次元投影でサンプリングされた画像特徴間のコサイン類似度と定量化される。
実験では,実験結果から得られたコサイン特徴の類似性と体積密度との間に強い相関関係が認められた。
論文 参考訳(メタデータ) (2023-04-24T17:46:01Z) - PMatch: Paired Masked Image Modeling for Dense Geometric Matching [18.64065915021511]
幾何マッチングのための新しいクロスフレームグローバルマッチングモジュール(CFGM)を提案する。
テクスチャレス領域に頑健であるためには,その学習をより規則化するホモグラフィー損失を提案する。
幾何マッチングにおいて、SoTA(State-of-The-Art)の性能を実現する。
論文 参考訳(メタデータ) (2023-03-30T12:53:22Z) - Semantic keypoint-based pose estimation from single RGB frames [64.80395521735463]
一つのRGB画像からオブジェクトの連続6-DoFポーズを推定する手法を提案する。
このアプローチは、畳み込みネットワーク(convnet)によって予測されるセマンティックキーポイントと、変形可能な形状モデルを組み合わせる。
提案手法は,インスタンスベースのシナリオとクラスベースのシナリオの両方に対して,6-DoFオブジェクトのポーズを正確に復元できることを示す。
論文 参考訳(メタデータ) (2022-04-12T15:03:51Z) - COTR: Correspondence Transformer for Matching Across Images [31.995943755283786]
本稿では,深層ニューラルネットワークに基づく画像の対応関係を探索する新しい枠組みを提案する。
そうすることで、興味のある点のみをクエリし、スパース対応を取り出すか、画像中のすべての点をクエリし、密接なマッピングを得ることができる。
論文 参考訳(メタデータ) (2021-03-25T22:47:02Z) - Refer-it-in-RGBD: A Bottom-up Approach for 3D Visual Grounding in RGBD
Images [69.5662419067878]
RGBD画像における接地参照表現は新たな分野である。
本稿では,参照する物体が閉塞により部分的にスキャンされる場合が多い単視点rgbd画像における3次元視覚グランド化の新たな課題を提案する。
提案手法はまず,RGBD画像内の関連領域をローカライズするヒートマップを生成するために,下層の言語と視覚的特徴を融合させる。
次に、ヒートマップに基づく適応的特徴学習を行い、他のビジオ言語融合とオブジェクトレベルのマッチングを行い、最後に参照したオブジェクトを接地する。
論文 参考訳(メタデータ) (2021-03-14T11:18:50Z) - Category Level Object Pose Estimation via Neural Analysis-by-Synthesis [64.14028598360741]
本稿では、勾配に基づくフィッティング法とパラメトリックニューラルネットワーク合成モジュールを組み合わせる。
画像合成ネットワークは、ポーズ設定空間を効率的に分散するように設計されている。
本研究では,2次元画像のみから高精度に物体の向きを復元できることを実験的に示す。
論文 参考訳(メタデータ) (2020-08-18T20:30:47Z) - Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。
本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。
複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
論文 参考訳(メタデータ) (2020-03-31T22:38:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。