論文の概要: Coarse-to-Fine Non-rigid Multi-modal Image Registration for Historical Panel Paintings based on Crack Structures
- arxiv url: http://arxiv.org/abs/2601.16348v1
- Date: Thu, 22 Jan 2026 22:19:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-26 14:27:27.422612
- Title: Coarse-to-Fine Non-rigid Multi-modal Image Registration for Historical Panel Paintings based on Crack Structures
- Title（参考訳）: き裂構造に基づく歴史的パネル絵画の粗大な非剛性多モード画像登録
- Authors: Aline Sindel, Andreas Maier, Vincent Christlein,
- Abstract要約: 歴史的パネル画の粗大な非厳密なマルチモーダル登録法を提案する。
我々は、頭蓋骨に基づく共同キーポイント検出と記述に畳み込みニューラルネットワークを用いる。
粗大から粗大の登録には、混合解像度画像の登録のための新しいマルチレベルキーポイント改良手法を導入する。
- 参考スコア（独自算出の注目度）: 6.9973522698523745
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Art technological investigations of historical panel paintings rely on acquiring multi-modal image data, including visual light photography, infrared reflectography, ultraviolet fluorescence photography, x-radiography, and macro photography. For a comprehensive analysis, the multi-modal images require pixel-wise alignment, which is still often performed manually. Multi-modal image registration can reduce this laborious manual work, is substantially faster, and enables higher precision. Due to varying image resolutions, huge image sizes, non-rigid distortions, and modality-dependent image content, registration is challenging. Therefore, we propose a coarse-to-fine non-rigid multi-modal registration method efficiently relying on sparse keypoints and thin-plate-splines. Historical paintings exhibit a fine crack pattern, called craquelure, on the paint layer, which is captured by all image systems and is well-suited as a feature for registration. In our one-stage non-rigid registration approach, we employ a convolutional neural network for joint keypoint detection and description based on the craquelure and a graph neural network for descriptor matching in a patch-based manner, and filter matches based on homography reprojection errors in local areas. For coarse-to-fine registration, we introduce a novel multi-level keypoint refinement approach to register mixed-resolution images up to the highest resolution. We created a multi-modal dataset of panel paintings with a high number of keypoint annotations, and a large test set comprising five multi-modal domains and varying image resolutions. The ablation study demonstrates the effectiveness of all modules of our refinement method. Our proposed approaches achieve the best registration results compared to competing keypoint and dense matching methods and refinement methods.
- Abstract（参考訳）: 歴史的パネル絵画の技術的調査は、視覚光写真、赤外線反射撮影、紫外線写真、X線写真、マクロ写真などの多モード画像データを取得することに依存している。
包括的な分析のためには、マルチモーダル画像はピクセルワイドなアライメントを必要とするが、まだ手動で実行されることが多い。
マルチモーダル画像登録は、この手間のかかる手作業を減らすことができ、かなり高速で、高精度な画像登録を可能にする。
様々な画像解像度、巨大な画像サイズ、非剛性歪み、モダリティに依存した画像コンテンツにより、登録は困難である。
そこで本研究では,スパースキーポイントと薄板スプラインを効率よく利用し,粗大なマルチモーダル登録手法を提案する。
歴史的絵画にはクラックルルと呼ばれるき裂模様が塗布層に描かれており、すべての画像システムによって捉えられており、登録に適している。
筆者らの1段階の非剛性登録手法では, 局所領域におけるホモグラフィ再投影誤差に基づくフィルタマッチングを, クラックルアに基づく畳み込み型キーポイント検出と記述のための畳み込みニューラルネットワーク, およびデクリプタマッチングのためのグラフニューラルネットワークを用いる。
粗大から粗大の登録には、多重解像度画像の最高解像度までを登録する、新しいマルチレベルキーポイント改良手法を導入する。
我々は、多数のキーポイントアノテーションと5つのマルチモーダルドメインと様々な画像解像度からなる大規模なテストセットを備えたパネルペイントのマルチモーダルデータセットを作成した。
アブレーション実験は, 改良法のすべてのモジュールの有効性を示すものである。
提案手法は, 競合するキーポイントや密マッチング法, 精細化法と比較して, 最適な登録結果が得られる。
関連論文リスト
- MatchAnything: Universal Cross-Modality Image Matching with Large-Scale Pre-Training [62.843316348659165]
ディープラーニングに基づく画像マッチングアルゴリズムは、人間を劇的に上回り、大量の対応を素早く正確に見つける。
本稿では, 画像間の基本構造を認識し, 一致させるためのモデル学習のために, 合成モード間学習信号を利用する大規模事前学習フレームワークを提案する。
我々の重要な発見は、我々のフレームワークで訓練されたマッチングモデルが、目に見えない8つのクロスモダリティ登録タスクにまたがる顕著な一般化性を達成することである。
論文 参考訳（メタデータ） (2025-01-13T18:37:36Z) - 3D Multimodal Image Registration for Plant Phenotyping [0.6697966247860049]
植物フェノタイピングのための複合マルチモーダルモニタリングシステムにおける複数のカメラ技術の利用は、有望な利益をもたらす。
クロスモーダルパターンの有効利用は、ピクセル・正確なアライメントを実現するために、正確な画像登録に依存する。
本稿では,飛行時間カメラからの深度情報を登録プロセスに統合することにより,これらの課題に対処する新しいマルチモーダル3D画像登録手法を提案する。
論文 参考訳（メタデータ） (2024-07-03T09:29:46Z) - Breaking Modality Disparity: Harmonized Representation for Infrared and
Visible Image Registration [66.33746403815283]
シーン適応型赤外線と可視画像の登録を提案する。
我々は、異なる平面間の変形をシミュレートするためにホモグラフィーを用いる。
我々は、まず、赤外線と可視画像のデータセットが不一致であることを示す。
論文 参考訳（メタデータ） (2023-04-12T06:49:56Z) - Multi-modal Retinal Image Registration Using a Keypoint-Based Vessel
Structure Aligning Network [9.988115865060589]
マルチモーダル網膜画像登録のためのエンドツーエンドのトレーニング可能なディープラーニング手法を提案する。
本手法は,キーポイントの検出と記述のために,容器構造から畳み込み特性を抽出する。
キーポイント検出・記述ネットワークとグラフニューラルネットワークは、自己教師された方法で共同で訓練される。
論文 参考訳（メタデータ） (2022-07-21T14:36:51Z) - Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。
我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
論文 参考訳（メタデータ） (2022-04-19T17:59:45Z) - A Keypoint Detection and Description Network Based on the Vessel
Structure for Multi-Modal Retinal Image Registration [0.0]
異なるモダリティや取得時間を持つ複数の画像は、網膜疾患の診断のためにしばしば分析される。
本手法は、畳み込みニューラルネットワークを用いて、多モード網膜画像の血管構造の特徴を抽出する。
論文 参考訳（メタデータ） (2022-01-06T20:43:35Z) - CoMIR: Contrastive Multimodal Image Representation for Registration [4.543268895439618]
我々は,CoMIR(Contrastive Multimodal Image Representations)と呼ばれる,共有された高密度画像表現を学習するためのコントラスト符号化を提案する。
CoMIRは、十分に類似した画像構造が欠如しているため、既存の登録方法がしばしば失敗するマルチモーダル画像の登録を可能にする。
論文 参考訳（メタデータ） (2020-06-11T10:51:33Z) - Learning Deformable Image Registration from Optimization: Perspective,
Modules, Bilevel Training and Beyond [62.730497582218284]
マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。
我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
論文 参考訳（メタデータ） (2020-04-30T03:23:45Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳（メタデータ） (2020-03-15T11:04:30Z) - Multimodal Deep Unfolding for Guided Image Super-Resolution [23.48305854574444]
ディープラーニング手法は、低解像度の入力から高解像度の出力へのエンドツーエンドのマッピングを学習するために、トレーニングデータに依存する。
本稿では,スパース事前を組み込んだマルチモーダル深層学習設計を提案し,他の画像モダリティからの情報をネットワークアーキテクチャに効果的に統合する。
提案手法は,サイド情報を用いた畳み込みスパース符号化の反復的アルゴリズムに類似した,新しい展開演算子に依存している。
論文 参考訳（メタデータ） (2020-01-21T14:41:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。