論文の概要: TartanMatch: Towards Universal Dense Correspondence Across Modalities

• arxiv url: http://arxiv.org/abs/2610.14513v1
• Date: Sat, 10 Oct 2026 03:19:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 13:12:31.744132
• Title: TartanMatch: Towards Universal Dense Correspondence Across Modalities
• Title（参考訳）: TartanMatch: モダリティ全体でのユニバーサルディエンス対応に向けて
• Abstract要約: ロボットプラットフォームはマルチモーダルセンサーを組み合わせて様々な条件で動作します。 ほとんどの高密度対応法は、RGB-RGBまたは小さなモダリティ対に制限されている。 ここでは、25の順序対すべてにまたがる密接な対応のための統一モデルであるTartanMatchを紹介する。
• 参考スコア（独自算出の注目度）: 10.167058765502244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robotic platforms combine multi-modal sensors to operate across diverse conditions, but most dense correspondence methods are limited to RGB-RGB or a small set of modality pairs. Training a model for each modality pair scales poorly with the number of sensors and forgoes potential positive transfer across modality pairs. We introduce TartanMatch, a unified model for dense correspondence across all 25 ordered pairs among RGB, event, thermal, depth, and projected LiDAR. TartanMatch adapts an RGB-pretrained correspondence model to all modality pairs within one shared network using lightweight modality adaptation and a mixture of real and synthetic data. On zero-shot real-world benchmarks, TartanMatch reduces Endpoint Error (EPE) over the strongest baselines by 61.9% for cross-modal matching and 49.6% for same-modal matching. We further show that joint training across all modality pairs improves average matching accuracy over pair-specific training, especially on challenging cross-modal pairs. These results demonstrate that a single model achieves broad multi-modal coverage and state-of-the-art matching accuracy.
• Abstract（参考訳）: ロボットプラットフォームは多モードセンサを組み合わせて様々な条件で動作させるが、ほとんどの密接な対応法はRGB-RGBまたは小さなモダリティペアに限られる。 各モダリティペアに対するモデルのトレーニングは、センサーの数によって不十分にスケールし、モダリティペア間の潜在的な正の移動を許す。 本稿では、RGB、イベント、熱、深さ、投影されたLiDARのうち、25の順序対すべてにまたがる高密度通信のための統一モデルであるTartanMatchを紹介する。 TartanMatchは、軽量なモダリティ適応と実データと合成データの混合を用いて、1つの共有ネットワーク内のすべてのモダリティペアにRGB制約付き対応モデルを適用する。 ゼロショット実世界のベンチマークにおいて、TartanMatchはエンドポイントエラー(EPE)を最強のベースラインで61.9%、クロスモーダルマッチングで49.6%削減した。 さらに、全てのモダリティペア間の共同トレーニングは、ペア固有のトレーニング、特に挑戦的なクロスモーダルペアよりも平均的なマッチング精度を向上させることを示す。 これらの結果から,1つのモデルが多モードカバレッジと最先端のマッチング精度を実現することが示唆された。

関連論文リスト

• Conditional Flow Matching for Cross-Field MRI Harmonisation [1.4152206863712093]
  我々はMRIxFields2026チャレンジのためのクロスフィールド脳MRI変換について検討する。 ソースボリュームとターゲットボリュームは空間的に登録されているので,ソーススライスを直接ターゲットスライスに運ぶ速度場を学習する。 このマッピングを3つの被験者のみから学ぶために、統一モデルは3つの段階で訓練される。
  論文  参考訳（メタデータ） (2026-09-01T09:18:26Z)
• Impact of Pretraining Word Co-occurrence on Compositional Generalization in Multimodal Models [15.387990102999773]
  事前学習データセットにおける単語共起統計がCLIP/LMMに与える影響について検討する。 LAION-400Mで訓練したCLIPモデルにおいて,CLIP事前学習データにおけるPMIとゼロショット精度との間に強い相関関係を示す。 そこで本研究では,スケーリングを伴わないマルチモーダルモデルにおいて,構成一般化を改善するアルゴリズムとアーキテクチャの必要性を強調した。
  論文  参考訳（メタデータ） (2025-07-10T17:59:59Z)
• Self-Supervised Spatial Correspondence Across Modalities [17.50529887238381]
  本稿では,モーダルな時空間対応を見つける方法を提案する。 RGB画像と深度マップのような2つの画像が与えられた場合、このモデルでは、どのピクセルがシーン内の同じ物理点に対応するかを特定する。
  論文  参考訳（メタデータ） (2025-06-03T17:59:45Z)
• MINIMA: Modality Invariant Image Matching [52.505282811925454]
  複数のクロスモーダルケースを対象とした統合画像マッチングフレームワークであるMINIMAを提案する。 生成モデルを用いて、安価だがリッチなRGBのみのマッチングデータからモダリティをスケールアップする。 MD-synでは、任意の高度なマッチングパイプラインをランダムに選択したモダリティペアで直接訓練して、クロスモーダル能力を得ることができる。
  論文  参考訳（メタデータ） (2024-12-27T02:39:50Z)
• Single-Model and Any-Modality for Video Object Tracking [85.83753760853142]
  任意のモダリティに対して単一のパラメータセットの統一トラッカーUn-Trackを導入する。 任意のモダリティを扱うために,低ランク因子化および再構成手法を用いて,それらの共通潜時空間を学習する。 我々のUn-Trackは、+6.6M(93M以上)のパラメータを持つ+2.14(21.50以上)のGFLOPを導入することで、DepthTrackデータセット上で、+8.1絶対Fスコアゲインを達成する。
  論文  参考訳（メタデータ） (2023-11-27T14:17:41Z)
• BiCro: Noisy Correspondence Rectification for Multi-modality Data via Bi-directional Cross-modal Similarity Consistency [66.8685113725007]
  BiCroは、ノイズの多いデータペアのソフトラベルを推定して、その真の対応度を反映することを目的としている。 3つの一般的なクロスモーダルマッチングデータセットの実験により、BiCroは様々なマッチングモデルのノイズ・ロバスト性を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2023-03-22T09:33:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。