論文の概要: Deep Lucas-Kanade Homography for Multimodal Image Alignment

• arxiv url: http://arxiv.org/abs/2104.11693v1
• Date: Thu, 22 Apr 2021 04:11:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 13:03:56.867247
• Title: Deep Lucas-Kanade Homography for Multimodal Image Alignment
• Title（参考訳）: マルチモーダル画像アライメントのためのDeep Lucas-Kanade Homography
• Authors: Yiming Zhao, Xinming Huang and Ziming Zhang
• Abstract要約: 異なるセンサーや画像ペアでキャプチャされた画像ペアを大きな外観変化で整列させるためのホモグラフィの推定は、重要かつ一般的な課題である。 本稿では,従来のルーカスカナーデアルゴリズムをネットワークに拡張することにより,画素ワイドなマルチモーダル画像ペアの汎用解を提案する。
• 参考スコア（独自算出の注目度）: 21.05595034343814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating homography to align image pairs captured by different sensors or image pairs with large appearance changes is an important and general challenge for many computer vision applications. In contrast to others, we propose a generic solution to pixel-wise align multimodal image pairs by extending the traditional Lucas-Kanade algorithm with networks. The key contribution in our method is how we construct feature maps, named as deep Lucas-Kanade feature map (DLKFM). The learned DLKFM can spontaneously recognize invariant features under various appearance-changing conditions. It also has two nice properties for the Lucas-Kanade algorithm: (1) The template feature map keeps brightness consistency with the input feature map, thus the color difference is very small while they are well-aligned. (2) The Lucas-Kanade objective function built on DLKFM has a smooth landscape around ground truth homography parameters, so the iterative solution of the Lucas-Kanade can easily converge to the ground truth. With those properties, directly updating the Lucas-Kanade algorithm on our feature maps will precisely align image pairs with large appearance changes. We share the datasets, code, and demo video online.
• Abstract（参考訳）: 多くのコンピュータビジョンアプリケーションにおいて、画像対を異なるセンサーや画像対に大きく変化させるようにホモグラフィーを推定することが重要かつ一般的な課題である。 他とは対照的に,従来のルーカスカナーデアルゴリズムをネットワークで拡張することにより,画素ワイドなマルチモーダル画像対の一般的な解を提案する。 提案手法における重要な貢献は,Deep Lucas-Kanade Feature Map (DLKFM) と呼ばれる特徴マップの構築方法である。 学習したDLKFMは、様々な外観変化条件下で自然に不変の特徴を認識することができる。 ルーカス・カナードアルゴリズムには2つの優れた特性がある:(1)テンプレート特徴マップは入力特徴マップと輝度一貫性を保ちます。 2) DLKFM上に構築されたルーカス・カナーデ目的関数は、基底真理ホモグラフィーパラメータの周りのスムーズな景観を持つので、ルーカス・カナーデの反復解は基底真理に容易に収束できる。 これらの特性により、特徴マップ上でLucas-Kanadeアルゴリズムを直接更新することで、画像ペアを大きな外観変化と正確に整合させることができる。 データセット、コード、デモビデオをオンラインで共有しています。

関連論文リスト

• Zero-Shot Image Feature Consensus with Deep Functional Maps [20.988872402347756]
  より優れた対応戦略が利用可能であることを示し,対応フィールドに直接構造を課す関数写像について述べる。 提案手法は,学習対象の大規模視覚モデルに埋め込まれた知識をよりよく反映し,よりスムーズなだけでなく,より正確に対応できることを示す。
  論文  参考訳（メタデータ） (2024-03-18T17:59:47Z)
• High-Quality 3D Face Reconstruction with Affine Convolutional Networks [21.761247036523606]
  3次元顔再構成では、入力画像(例えば顔)と標準/UV出力との間の空間的ずれが特徴符号化・復号処理を非常に困難にする。 我々は、空間的に非対応な入力および出力画像を扱うCNNベースのアプローチを可能にする新しいネットワークアーキテクチャ、すなわちAffine Convolution Networksを提案する。 提案手法はパラメトリックフリーであり,512×512ピクセルの解像度で高品質な紫外線マップを生成することができる。
  論文  参考訳（メタデータ） (2023-10-22T09:04:43Z)
• SNAP: Self-Supervised Neural Maps for Visual Positioning and Semantic Understanding [57.108301842535894]
  我々は、地上と頭上の画像からリッチなニューラル2Dマップを学習するディープネットワークSNAPを紹介する。 我々は、異なる入力から推定されるニューラルマップの整列をトレーニングし、何千万ものストリートビュー画像のカメラポーズでのみ監視する。 SNAPは、従来の手法の範囲を超えて、挑戦的な画像クエリの場所を解決できる。
  論文  参考訳（メタデータ） (2023-06-08T17:54:47Z)
• PRISE: Demystifying Deep Lucas-Kanade with Strongly Star-Convex Constraints for Multimodel Image Alignment [18.30521162275051]
  ルーカス・カナーデ法(英語版)(LK)は、画像の古典的反復的ホモグラフィー推定アルゴリズムであるが、画像対に歪みがある場合、特に局所的最適性に悩まされることが多い。 本稿では、画像最適化のための新しいDeep Star-Convexified Lucas-Kanade(RISE)法を提案する。
  論文  参考訳（メタデータ） (2023-03-21T01:19:35Z)
• Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN [88.62422914645066]
  任意のポーズで1つの画像から人物を再レンダリングするアルゴリズムを提案する。 既存の方法では、画像の同一性や細部を保ちながら、隠蔽されたコンテンツを写実的に幻覚することはしばしば困難である。 本手法は, 定量的評価と視覚的比較の両方において, 最先端のアルゴリズムと良好に比較できることを示す。
  論文  参考訳（メタデータ） (2021-09-13T17:59:33Z)
• SeqNetVLAD vs PointNetVLAD: Image Sequence vs 3D Point Clouds for Day-Night Place Recognition [31.714928102950594]
  位置認識は移動ロボットのローカライゼーションとナビゲーションにとって重要な機能である。 逐次表現に基づく最近のVPR手法は有望な結果を示した。 我々は,3次元点クラウド法と画像シーケンス法を比較した。
  論文  参考訳（メタデータ） (2021-06-22T02:05:32Z)
• Cross-Descriptor Visual Localization and Mapping [81.16435356103133]
  視覚のローカライゼーションとマッピングは、Mixed Realityとロボティクスシステムの大部分を支える重要な技術である。 特徴表現の連続的な更新を必要とする局所化とマッピングのための3つの新しいシナリオを提案する。 我々のデータ駆動型アプローチは特徴記述子型に非依存であり、計算要求が低く、記述アルゴリズムの数と線形にスケールする。
  論文  参考訳（メタデータ） (2020-12-02T18:19:51Z)
• Free-Form Image Inpainting via Contrastive Attention Network [64.05544199212831]
  画像の塗装作業では、複雑なパターンを形成する画像のどこにでも、どんな形でもマスクが現れる。 エンコーダはこの複雑な状況下でこのような強力な表現を捕捉することは困難である。 本稿では,ロバスト性と一般化性を改善するための自己教師型シームズ推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-29T14:46:05Z)
• Label Decoupling Framework for Salient Object Detection [157.96262922808245]
  近年の手法は, 畳み込みネットワーク(FCN)からの多層的特徴の集約と, エッジ情報の導入に重点を置いている。 ラベルデカップリング手順と機能相互作用ネットワーク(FIN)からなるラベルデカップリングフレームワーク(LDF)を提案する。 6つのベンチマークデータセットの実験では、LDFはさまざまな評価指標における最先端のアプローチよりも優れていることが示されている。
  論文  参考訳（メタデータ） (2020-08-25T14:23:38Z)
• Structural-analogy from a Single Image Pair [118.61885732829117]
  本稿では,1対の画像A,Bのみを用いて,ニューラルネットワークによる画像構造理解能力について検討する。 我々は、B の外観とスタイルを保持するが、A に対応する構造的配置を持つ画像を生成する。 提案手法は,画像AとBのみを利用した条件生成タスクにおいて,高品質な画像を生成するために利用できる。
  論文  参考訳（メタデータ） (2020-04-05T14:51:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。