論文の概要: Multi-Spectral Image Stitching via Spatial Graph Reasoning
- arxiv url: http://arxiv.org/abs/2307.16741v1
- Date: Mon, 31 Jul 2023 15:04:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 13:52:12.762277
- Title: Multi-Spectral Image Stitching via Spatial Graph Reasoning
- Title(参考訳): 空間グラフ推論によるマルチスペクトル画像スティッチ
- Authors: Zhiying Jiang, Zengxi Zhang, Jinyuan Liu, Xin Fan, Risheng Liu
- Abstract要約: 空間グラフ推論に基づくマルチスペクトル画像縫合法を提案する。
同一のビュー位置から複数スケールの補完機能をノードに埋め込む。
空間的・チャネル的次元に沿った長距離コヒーレンスを導入することにより、画素関係の相補性とチャネル相互依存性は、整列したマルチビュー特徴の再構築に寄与する。
- 参考スコア(独自算出の注目度): 52.27796682972484
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-spectral image stitching leverages the complementarity between infrared
and visible images to generate a robust and reliable wide field-of-view (FOV)
scene. The primary challenge of this task is to explore the relations between
multi-spectral images for aligning and integrating multi-view scenes.
Capitalizing on the strengths of Graph Convolutional Networks (GCNs) in
modeling feature relationships, we propose a spatial graph reasoning based
multi-spectral image stitching method that effectively distills the deformation
and integration of multi-spectral images across different viewpoints. To
accomplish this, we embed multi-scale complementary features from the same view
position into a set of nodes. The correspondence across different views is
learned through powerful dense feature embeddings, where both inter- and
intra-correlations are developed to exploit cross-view matching and enhance
inner feature disparity. By introducing long-range coherence along spatial and
channel dimensions, the complementarity of pixel relations and channel
interdependencies aids in the reconstruction of aligned multi-view features,
generating informative and reliable wide FOV scenes. Moreover, we release a
challenging dataset named ChaMS, comprising both real-world and synthetic sets
with significant parallax, providing a new option for comprehensive evaluation.
Extensive experiments demonstrate that our method surpasses the
state-of-the-arts.
- Abstract(参考訳): マルチスペクトル画像ステッチは、赤外線と可視画像の相補性を利用して、堅牢で信頼性の高い視野(FOV)シーンを生成する。
この課題の主な課題は、マルチビューシーンの調整と統合のためのマルチスペクトル画像の関係を探ることである。
特徴関係のモデル化におけるグラフ畳み込みネットワーク(gcns)の強みを活かし,多面的画像の変形と統合を異なる視点で効果的に行う空間的グラフ推論に基づく多面的画像縫い付け手法を提案する。
これを実現するために、同じビュー位置から複数スケールの補完機能をノードの集合に埋め込む。
異なる視点にまたがる対応は強力な密集した特徴埋め込みを通じて学習され、相互相関と内部特徴の相違を高めるために相互相関が開発された。
空間的およびチャネル次元に沿って長距離コヒーレンスを導入することにより、画素関係とチャネル相互依存性の相補性は、アラインメントされたマルチビュー特徴の再構築を助け、情報的かつ信頼性の高いワイドフォブシーンを生成する。
さらに,実世界と合成集合の両方からなるchamsという難易度の高いデータセットをリリースし,総合的な評価のための新しい選択肢を提供する。
大規模な実験により,本手法が最先端技術を上回ることが示された。
関連論文リスト
- One for all: A novel Dual-space Co-training baseline for Large-scale
Multi-View Clustering [42.92751228313385]
我々は、Dual-space Co-training Large-scale Multi-view Clustering (DSCMC)という新しいマルチビュークラスタリングモデルを提案する。
提案手法の主な目的は,2つの異なる空間における協調学習を活用することにより,クラスタリング性能を向上させることである。
我々のアルゴリズムは近似線形計算複雑性を持ち、大規模データセットへの適用が成功することを保証している。
論文 参考訳(メタデータ) (2024-01-28T16:30:13Z) - Unified Frequency-Assisted Transformer Framework for Detecting and
Grounding Multi-Modal Manipulation [109.1912721224697]
本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。
離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。
提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
論文 参考訳(メタデータ) (2023-09-18T11:06:42Z) - Learning multi-domain feature relation for visible and Long-wave
Infrared image patch matching [39.88037892637296]
我々は、VL-CMIMと呼ばれる最大の可視・長波長赤外線画像パッチマッチングデータセットを提示する。
さらに,マルチドメイン特徴関連学習ネットワーク(MD-FRN)を提案する。
論文 参考訳(メタデータ) (2023-08-09T11:23:32Z) - Learning to Fuse Monocular and Multi-view Cues for Multi-frame Depth
Estimation in Dynamic Scenes [51.20150148066458]
一般化されたマスクを必要とせず,ボリュームとして符号化された多視点と単眼のキューを融合させる新しい手法を提案する。
実世界のデータセットを用いた実験は,提案手法の有効性と性能を実証する。
論文 参考訳(メタデータ) (2023-04-18T13:55:24Z) - Cross-View Hierarchy Network for Stereo Image Super-Resolution [14.574538513341277]
ステレオ画像スーパーレゾリューションは、ビュー間の相補的な情報を活用することにより、高解像度ステレオ画像ペアの品質を向上させることを目的としている。
ステレオ画像超解法(CVHSSR)のためのクロスビュー階層ネットワーク(Cross-View-Hierarchy Network)という新しい手法を提案する。
CVHSSRは、パラメータを減らしながら、他の最先端手法よりも最高のステレオ画像超解像性能を達成する。
論文 参考訳(メタデータ) (2023-04-13T03:11:30Z) - GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from
Multi-view Images [79.39247661907397]
本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。
具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
論文 参考訳(メタデータ) (2023-03-24T03:32:02Z) - TransFusion: Multi-view Divergent Fusion for Medical Image Segmentation
with Transformers [8.139069987207494]
コンボリューション層と強力なアテンション機構を用いた多視点画像情報をマージするトランスフォーマーベースのアーキテクチャであるTransFusionを提案する。
特に、ディバージェント・フュージョン・アテンション(DiFA)モジュールは、リッチ・クロスビュー・コンテキスト・モデリングとセマンティック・インテリジェンス・マイニングのために提案されている。
論文 参考訳(メタデータ) (2022-03-21T04:02:54Z) - LocalTrans: A Multiscale Local Transformer Network for Cross-Resolution
Homography Estimation [52.63874513999119]
クロスレゾリューション画像アライメントは、マルチスケールギガ撮影において重要な問題である。
既存のディープ・ホモグラフィー手法は、それらの間の対応の明示的な定式化を無視し、クロスレゾリューションの課題において精度が低下する。
本稿では,マルチモーダル入力間の対応性を明確に学習するために,マルチスケール構造内に埋め込まれたローカルトランスフォーマーネットワークを提案する。
論文 参考訳(メタデータ) (2021-06-08T02:51:45Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳(メタデータ) (2020-03-15T11:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。