論文の概要: Parallax-Tolerant Unsupervised Deep Image Stitching

• arxiv url: http://arxiv.org/abs/2302.08207v2
• Date: Sat, 22 Jul 2023 03:47:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 23:51:01.502604
• Title: Parallax-Tolerant Unsupervised Deep Image Stitching
• Title（参考訳）: パララックス耐性非教師なし深部画像縫合
• Authors: Lang Nie, Chunyu Lin, Kang Liao, Shuaicheng Liu, Yao Zhao
• Abstract要約: 本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。 まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。 本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
• 参考スコア（独自算出の注目度）: 57.76737888499145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional image stitching approaches tend to leverage increasingly complex geometric features (point, line, edge, etc.) for better performance. However, these hand-crafted features are only suitable for specific natural scenes with adequate geometric structures. In contrast, deep stitching schemes overcome the adverse conditions by adaptively learning robust semantic features, but they cannot handle large-parallax cases due to homography-based registration. To solve these issues, we propose UDIS++, a parallax-tolerant unsupervised deep image stitching technique. First, we propose a robust and flexible warp to model the image registration from global homography to local thin-plate spline motion. It provides accurate alignment for overlapping regions and shape preservation for non-overlapping regions by joint optimization concerning alignment and distortion. Subsequently, to improve the generalization capability, we design a simple but effective iterative strategy to enhance the warp adaption in cross-dataset and cross-resolution applications. Finally, to further eliminate the parallax artifacts, we propose to composite the stitched image seamlessly by unsupervised learning for seam-driven composition masks. Compared with existing methods, our solution is parallax-tolerant and free from laborious designs of complicated geometric features for specific scenes. Extensive experiments show our superiority over the SoTA methods, both quantitatively and qualitatively. The code is available at https://github.com/nie-lang/UDIS2.
• Abstract（参考訳）: 従来の画像縫い付けアプローチは、パフォーマンスを改善するためにますます複雑な幾何学的特徴(点、線、エッジなど)を活用する傾向がある。 しかし、これらの手作りの特徴は、適切な幾何学的構造を持つ特定の自然のシーンにのみ適している。 対照的に、深い縫合スキームは、ロバストな意味的特徴を適応的に学習することで、悪条件を克服するが、ホモグラフィーに基づく登録により、大きなパララックスケースを扱うことはできない。 そこで我々は,パララックス耐性の深い深部画像縫合技術 udis++ を提案する。 まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化する,堅牢で柔軟なワープを提案する。 重なり領域の正確なアライメントと、非重なり領域のアライメントと歪みに関する共同最適化による形状保存を提供する。 その後、一般化能力を向上させるため、クロスデータセットおよびクロスレゾリューションアプリケーションにおけるワープ適応性を高めるために、単純かつ効果的な反復戦略を考案する。 最後に, シーム駆動合成マスクの教師なし学習により, 縫合画像をシームレスに合成することを提案する。 既存の手法と比較して,我々の解はパララックス耐性があり,複雑な幾何学的特徴の複雑な設計を伴わない。 実験により,SoTA法よりも定量的および定性的に優位性を示した。 コードはhttps://github.com/nie-lang/UDIS2で公開されている。

関連論文リスト

• RecDiffusion: Rectangling for Image Stitching with Diffusion Models [53.824503710254206]
  画像縫合整形のための新しい拡散学習フレームワーク textbfRecDiffusion を提案する。 このフレームワークは運動拡散モデル(MDM)を組み合わせて運動場を生成し、縫合された画像の不規則な境界から幾何学的に修正された中間体へ効果的に遷移する。
  論文  参考訳（メタデータ） (2024-03-28T06:22:45Z)
• Learning Residual Elastic Warps for Image Stitching under Dirichlet Boundary Condition [28.627775495233692]
  ディリクレ境界条件で問題に対処するリカレント弾性ワープ(REwarp)を提案する。 Rewarpは、不連続およびホールフリー画像縫合のための境界制約の下で、ホモグラフィと薄板スプライン(TPS)を予測する。 本実験は,既存の縫合法と比較して,Rewarpの整合性および競合計算コストを示す。
  論文  参考訳（メタデータ） (2023-09-04T07:26:42Z)
• Collaborative Blind Image Deblurring [15.555393702795076]
  類似のぼかしのパッチを抽出する場合, パッチのスタックを共同処理することで, 別々に処理するよりも精度が高いことを示す。 画像のシャープニング, カメラシェイク除去, 光収差補正の3つの実用的なパッチ抽出手法を提案し, 提案手法を合成および実世界のベンチマークで検証した。
  論文  参考訳（メタデータ） (2023-05-25T13:14:29Z)
• RecRecNet: Rectangling Rectified Wide-Angle Images by Thin-Plate Spline Model and DoF-based Curriculum Learning [62.86400614141706]
  我々はRecRecNet(Rectangling Rectification Network)という新しい学習モデルを提案する。 我々のモデルは、ソース構造をターゲット領域に柔軟にワープし、エンドツーエンドの非教師なし変形を実現する。 実験により, 定量評価と定性評価の両面において, 比較法よりも解法の方が優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-04T15:12:57Z)
• Pyramid Feature Alignment Network for Video Deblurring [63.26197177542422]
  ビデオの劣化は、さまざまな原因がぼやけているため、難しい課題だ。 従来の方法では、隣接するフレームを単一スケールのアライメントで修復する方法が検討されてきた。 本稿では,映像デブリのためのピラミッド特徴アライメントネットワーク(PFAN)を提案する。
  論文  参考訳（メタデータ） (2022-03-28T07:54:21Z)
• Deep Rectangling for Image Stitching: A Learning Baseline [57.76737888499145]
  我々は不規則な境界やシーンに大きな多様性を持つ最初の画像縫合整形データセットを構築した。 実験では、従来の方法よりも定量的にも質的にも優位性を示す。
  論文  参考訳（メタデータ） (2022-03-08T03:34:10Z)
• Pixel-wise Deep Image Stitching [21.824319551526294]
  画像縫いは、異なる視点から撮影された画像をより広い視野で画像に縫い付けることを目的としている。 既存の方法は、推定されたワープ関数を用いて、対象画像を基準画像にワープする。 本稿では,大視差問題に対処するため,画素ワイドワープフィールドを利用した新しい深部画像縫合フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-12T07:28:48Z)
• Manifold-Inspired Single Image Interpolation [17.304301226838614]
  単画像への多くのアプローチは半局所類似性を利用するために多様体モデルを使用する。 入力画像のエイリアス化は どちらの部分も困難です 本稿では,重度のエイリアス領域におけるエイリアス除去のための適応手法を提案する。 この技術は、強いエイリアスが存在する場合でも、類似したパッチを確実に識別することができる。
  論文  参考訳（メタデータ） (2021-07-31T04:29:05Z)
• Depth-Aware Multi-Grid Deep Homography Estimation with Contextual Correlation [38.95610086309832]
  ホログラフィー推定は、画像ステッチ、ビデオ安定化、カメラキャリブレーションなどのコンピュータビジョンにおいて重要なタスクである。 従来のホモグラフィー推定法は特徴点の量と分布に依存するため、テクスチャレスシーンではロバスト性が低い。 特徴写像上の長距離相関を捉えることができ、学習フレームワークに柔軟にブリッジできるコンテキスト相関層を提案する。 我々は,新しい深度認識型形状保存損失を導入することで,ネットワークに深度知覚能力を持たせる。
  論文  参考訳（メタデータ） (2021-07-06T10:33:12Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。