論文の概要: MatchFusion: Explicit-Implicit Instance Matching for Spatio-Temporal Multimodal Autonomous Driving

• arxiv url: http://arxiv.org/abs/2609.25860v1
• Date: Tue, 22 Sep 2026 08:24:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.298948
• Title: MatchFusion: Explicit-Implicit Instance Matching for Spatio-Temporal Multimodal Autonomous Driving
• Title（参考訳）: MatchFusion: 時空間多モード自律運転のための明示型インスタンスマッチング
• Abstract要約: 計算時間自律運転のための学習可能なインスタンスマッチング融合とモジュールを提案する。 MatchFusionは、マルチビュー画像ニュープレーン幾何学とモーション補償型BEV幾何学を用いて、空間LiDARカメラと時間的過去の相互作用をサポートする。 実験では、さまざまなフロントエンド構成に対して、一貫した知覚の利得が示される。
• 参考スコア（独自算出の注目度）: 30.132930231841403
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sparse instance representations provide a compact interface for spatial LiDAR-camera and temporal past-current interaction in multimodal perception and E2EAD. Effective interaction requires reliable instance correspondences despite geometric discrepancies and heterogeneous semantic representations. Attention-based methods exploit contextual semantics but often require specialized representation alignment, increasing computational overhead. In contrast, association based on structured object states is efficient and interpretable but lacks contextual evidence to resolve ambiguous matches. To combine these complementary strengths, we propose MatchFusion, a learnable instance matching and fusion module for spatio-temporal multimodal autonomous driving. MatchFusion initializes pairwise affinities using geometric similarity and category consistency, then selectively refines structurally plausible associations using instance embeddings. The resulting soft matchmap guides a common residual aggregation operator for adaptive information exchange. This unified matching-fusion formulation supports spatial LiDAR-camera and temporal past-current interaction, using multi-view image-plane geometry and motion-compensated BEV geometry as the respective structural priors. Experiments on nuScenes demonstrate consistent perception gains across diverse front-end configurations. Compared with a prior instance-centric fusion method, the MatchFusion-equipped system achieves higher perception accuracy while reducing FLOPs by 55.3% and GPU memory usage by 39.3%, with the matching-fusion module accounting for only 3.7% of total perception latency. Integrating temporal MatchFusion into SparseDrive further improves perception within an E2E framework without additional supervision. These results establish explicit-implicit matching as an effective and efficient mechanism for spatio-temporal instance interaction.
• Abstract（参考訳）: スパースインスタンス表現は、空間LiDARカメラのためのコンパクトなインタフェースと、マルチモーダル知覚とE2EADにおける時間的過去の相互作用を提供する。 効果的な相互作用は、幾何学的不一致や不均一な意味表現に拘わらず、信頼できるインスタンス対応を必要とする。 注意に基づく手法は文脈意味論を利用するが、しばしば特別な表現アライメントを必要とし、計算オーバーヘッドを増大させる。 対照的に、構造化対象状態に基づくアソシエーションは効率的かつ解釈可能であるが、あいまいな一致を解決するための文脈的証拠がない。 これらの相補的強みを組み合わせるために、時空間多モード自律運転のための学習可能なインスタンスマッチングおよび融合モジュールであるMatchFusionを提案する。 MatchFusion は幾何学的類似性と圏整合性を用いてペアの親和性を初期化し、次いでインスタンス埋め込みを用いて構造的に可算な関連を選択的に洗練する。 結果として得られるソフトマッチマップは、適応情報交換のための共通残留集約演算子を誘導する。 この統合マッチング融合の定式化は空間LiDARカメラと時間的過去の相互作用をサポートし、多視点画像平面幾何と運動補償型BEV幾何をそれぞれの構造的先行要素として用いた。 nuScenesの実験では、さまざまなフロントエンド構成で一貫した認識が得られている。 従来のインスタンス中心の融合法と比較して、MatchFusionを搭載したシステムはFLOPを55.3%削減し、GPUメモリを39.3%削減し、マッチング融合モジュールは全体の認識遅延の3.7%しか占めていない。 時間的MatchFusionをSparseDriveに統合することで、追加の監視なしにE2Eフレームワーク内の認識がさらに向上する。 これらの結果から,時空間インスタンス間相互作用の効果的かつ効率的なメカニズムとして,明示的・単純マッチングが確立された。

関連論文リスト

• TRCoRSurg: Temporal-Relational Co-Reasoning for Surgical Video Triplet Recognition [34.668601827075676]
  本稿では,三重項認識のための空間的・リレーショナル・時間的手がかりを統合した統合的枠組みを提案する。 本稿では,AP_IVTを5.1%,AP_IVTを7.8%向上させる手法を提案する。
  論文  参考訳（メタデータ） (2026-08-05T09:13:31Z)
• CtrlFuse: Mask-Prompt Guided Controllable Infrared and Visible Image Fusion [51.060328159429154]
  赤外線と可視画像の融合は、相補的なモダリティを組み合わせることで、全天候の知覚可能な画像を生成する。 我々は,マスクプロンプトによって誘導されるインタラクティブな動的融合を可能にする,制御可能な画像融合フレームワークであるCtrlFuseを提案する。 実験では、融合制御性とセグメンテーション精度の両立を実証し、適応されたタスク分岐は元のセグメンテーションモデルよりも優れていた。
  論文  参考訳（メタデータ） (2026-01-12T13:36:48Z)
• CSMCIR: CoT-Enhanced Symmetric Alignment with Memory Bank for Composed Image Retrieval [54.15776146365823]
  Composed Image Retrieval (CIR)では、ユーザーは参照画像と操作テキストの両方を使用してターゲットイメージを検索できる。 CSMCIRは3つの相乗的コンポーネントを通して効率的なクエリターゲットアライメントを実現する統一表現フレームワークである。
  論文  参考訳（メタデータ） (2026-01-07T09:21:38Z)
• Hierarchical Context Alignment with Disentangled Geometric and Temporal Modeling for Semantic Occupancy Prediction [61.484280369655536]
  カメラを用いた3Dセマンティック占領予測(SOP)は、限られた2次元画像観察から複雑な3Dシーンを理解するのに不可欠である。 既存のSOPメソッドは通常、占有表現学習を支援するためにコンテキストの特徴を集約する。 より正確なSOP(Hi-SOP)のための新しい階層型コンテキストアライメントパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-12-11T09:53:10Z)
• Cross Space and Time: A Spatio-Temporal Unitized Model for Traffic Flow Forecasting [16.782154479264126]
  時間的要因間の複雑な相互作用により、バックボーン・時間的トラフィックフローを予測することが課題となる。 既存のアプローチでは、これらの次元を分離し、重要な相互依存を無視している。 本稿では,空間的および時間的依存関係の両方をキャプチャする統合フレームワークであるSanonymous-Temporal Unitized Unitized Cell (ASTUC)を紹介する。
  論文  参考訳（メタデータ） (2024-11-14T07:34:31Z)
• GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
  ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。 距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。 クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
  論文  参考訳（メタデータ） (2024-10-20T03:45:50Z)
• VSFormer: Mining Correlations in Flexible View Set for Multi-view 3D Shape Understanding [9.048401253308123]
  本稿では,複数の視点に対するフレキシブルな組織と明示的な相関学習について検討する。 我々は,集合内のすべての要素の対関係と高次相関を明示的に捉えるために,emphVSFormerというニブルトランスフォーマーモデルを考案した。 ModelNet40、ScanObjectNN、RGBDなど、さまざまな3D認識データセットの最先端結果に到達している。
  論文  参考訳（メタデータ） (2024-09-14T01:48:54Z)
• Similarity-Aware Fusion Network for 3D Semantic Segmentation [87.51314162700315]
  本研究では,3次元セマンティックセグメンテーションのための2次元画像と3次元点雲を適応的に融合する類似性認識融合ネットワーク(SAFNet)を提案する。 我々は、入力とバックプロジェクションされた(2Dピクセルから)点雲の間の幾何学的および文脈的類似性を初めて学習する、後期融合戦略を採用している。 SAFNetは、様々なデータ完全性にまたがって、既存の最先端の核融合ベースのアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2021-07-04T09:28:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。