論文の概要: MatchAnything: Universal Cross-Modality Image Matching with Large-Scale Pre-Training
- arxiv url: http://arxiv.org/abs/2501.07556v1
- Date: Mon, 13 Jan 2025 18:37:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-14 14:24:00.096230
- Title: MatchAnything: Universal Cross-Modality Image Matching with Large-Scale Pre-Training
- Title（参考訳）: MatchAnything: 大規模事前トレーニングによるユニバーサルクロスモーダル画像マッチング
- Authors: Xingyi He, Hao Yu, Sida Peng, Dongli Tan, Zehong Shen, Hujun Bao, Xiaowei Zhou,
- Abstract要約: ディープラーニングに基づく画像マッチングアルゴリズムは、人間を劇的に上回り、大量の対応を素早く正確に見つける。
本稿では, 画像間の基本構造を認識し, 一致させるためのモデル学習のために, 合成モード間学習信号を利用する大規模事前学習フレームワークを提案する。
我々の重要な発見は、我々のフレームワークで訓練されたマッチングモデルが、目に見えない8つのクロスモダリティ登録タスクにまたがる顕著な一般化性を達成することである。
- 参考スコア（独自算出の注目度）: 62.843316348659165
- License:
- Abstract: Image matching, which aims to identify corresponding pixel locations between images, is crucial in a wide range of scientific disciplines, aiding in image registration, fusion, and analysis. In recent years, deep learning-based image matching algorithms have dramatically outperformed humans in rapidly and accurately finding large amounts of correspondences. However, when dealing with images captured under different imaging modalities that result in significant appearance changes, the performance of these algorithms often deteriorates due to the scarcity of annotated cross-modal training data. This limitation hinders applications in various fields that rely on multiple image modalities to obtain complementary information. To address this challenge, we propose a large-scale pre-training framework that utilizes synthetic cross-modal training signals, incorporating diverse data from various sources, to train models to recognize and match fundamental structures across images. This capability is transferable to real-world, unseen cross-modality image matching tasks. Our key finding is that the matching model trained with our framework achieves remarkable generalizability across more than eight unseen cross-modality registration tasks using the same network weight, substantially outperforming existing methods, whether designed for generalization or tailored for specific tasks. This advancement significantly enhances the applicability of image matching technologies across various scientific disciplines and paves the way for new applications in multi-modality human and artificial intelligence analysis and beyond.
- Abstract（参考訳）: 画像間で対応するピクセルの位置を特定することを目的とした画像マッチングは、画像登録、融合、分析を補助する幅広い科学分野において不可欠である。
近年、深層学習に基づく画像マッチングアルゴリズムは、大量の対応を迅速かつ正確に見つけることで、人間を劇的に上回っている。
しかし、異なる画像モダリティで撮像された画像に顕著な外観変化をもたらす場合、注釈付きクロスモーダルトレーニングデータの不足により、これらのアルゴリズムの性能は劣化することが多い。
この制限は、補完的な情報を得るために複数の画像モダリティに依存する様々な分野の応用を妨げる。
この課題に対処するために,さまざまなソースから多種多様なデータを取り込んで,画像間の基本構造を認識し,一致させるような,総合的なクロスモーダルトレーニング信号を利用する大規模事前学習フレームワークを提案する。
この機能は、実世界の、目に見えないクロスモダリティ画像マッチングタスクに転送可能である。
我々の重要な発見は、我々のフレームワークで訓練されたマッチングモデルは、同一のネットワーク重みを用いて8つ以上の未確認のクロスモダリティ登録タスクに対して顕著な一般化性を実現し、一般化のために設計されたか、特定のタスクのために調整されたかにかかわらず、既存の手法よりも大幅に優れていることである。
この進歩は、様々な科学分野にわたる画像マッチング技術の適用性を大幅に向上させ、マルチモーダルな人間と人工知能分析などにおける新しい応用の道を開く。
関連論文リスト
- Unifying Visual and Semantic Feature Spaces with Diffusion Models for Enhanced Cross-Modal Alignment [20.902935570581207]
本稿では,マルチモーダルアライメント・アンド・リコンストラクション・ネットワーク(MARNet)を導入し,視覚ノイズに対するモデルの耐性を高める。
MARNetは、異なるドメイン間で情報をスムーズかつ安定的にブレンドする、クロスモーダル拡散再構成モジュールを含んでいる。
2つのベンチマークデータセットであるVireo-Food172とIngredient-101で実施された実験は、MARNetがモデルによって抽出された画像情報の品質を効果的に改善することを示した。
論文 参考訳（メタデータ） (2024-07-26T16:30:18Z) - Cross-Modality Perturbation Synergy Attack for Person Re-identification [66.48494594909123]
相互モダリティReIDの主な課題は、異なるモダリティ間の視覚的差異を効果的に扱うことである。
既存の攻撃方法は、目に見える画像のモダリティの特徴に主に焦点を当てている。
本研究では,クロスモーダルReIDに特化して設計されたユニバーサル摂動攻撃を提案する。
論文 参考訳（メタデータ） (2024-01-18T15:56:23Z) - A Simple and Robust Framework for Cross-Modality Medical Image
Segmentation applied to Vision Transformers [0.0]
単一条件モデルを用いて複数モードの公平な画像分割を実現するための簡単なフレームワークを提案する。
本研究の枠組みは,マルチモーダル全心条件課題において,他のモダリティセグメンテーション手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-09T09:51:44Z) - Cones 2: Customizable Image Synthesis with Multiple Subjects [50.54010141032032]
本研究では,特定の対象を効率的に表現する方法と,異なる対象を適切に構成する方法について検討する。
クロスアテンションマップ内のアクティベーションを修正することにより、レイアウトはイメージ内の異なる被写体の位置を指定して分離する。
論文 参考訳（メタデータ） (2023-05-30T18:00:06Z) - Multi-modal unsupervised brain image registration using edge maps [7.49320945341034]
本稿では,マルチモーダル画像登録手法を提案する。
この背景にある直感は、強い勾配の像の位置が組織の遷移を意味すると仮定されている。
我々は3つの異なる損失関数を用いて、異なる被験者のマルチモーダル(T1wからT2w)磁気共鳴(MR)脳画像を登録する状況において、我々のアプローチを評価する。
論文 参考訳（メタデータ） (2022-02-09T15:50:14Z) - TransFuse: A Unified Transformer-based Image Fusion Framework using
Self-supervised Learning [5.849513679510834]
画像融合(英: Image fusion)とは、複数のソース画像からの情報を補完情報と統合し、単一の画像の豊かさを改善する技術である。
2段階の手法では、大規模な自然言語データセット上でエンコーダ・デコーダネットワークをトレーニングすることで、タスク固有の大量のトレーニングデータの必要性を回避する。
本稿では, ネットワークがタスク固有の特徴を学習することを奨励する, 破壊再構成に基づく自己指導型学習手法を提案する。
論文 参考訳（メタデータ） (2022-01-19T07:30:44Z) - Cross-modal Image Retrieval with Deep Mutual Information Maximization [14.778158582349137]
本研究では,入力にソース画像を含むクロスモーダル画像検索と,その画像と所望の画像の修正を記述したテキストについて検討する。
本手法は, テキストモダリティと画像モダリティのモダリティギャップを狭め, 意味的には同一でない表現間の相互情報を最大化する。
論文 参考訳（メタデータ） (2021-03-10T13:08:09Z) - Learning Deformable Image Registration from Optimization: Perspective,
Modules, Bilevel Training and Beyond [62.730497582218284]
マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。
我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
論文 参考訳（メタデータ） (2020-04-30T03:23:45Z) - Multimodal Categorization of Crisis Events in Social Media [81.07061295887172]
本稿では,画像とテキストの両方を入力として利用するマルチモーダル融合法を提案する。
特に、弱モダリティから非形式的および誤解を招くコンポーネントをフィルタリングできるクロスアテンションモジュールを導入する。
本手法は,3つの危機関連タスクにおいて,一様アプローチと強いマルチモーダルベースラインを大きなマージンで上回ることを示す。
論文 参考訳（メタデータ） (2020-04-10T06:31:30Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳（メタデータ） (2020-03-15T11:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。