論文の概要: Label-Free Target-Domain Adaptation for Unconstrained Event-Image Feature Matching via Dual-Stage Distillation
- arxiv url: http://arxiv.org/abs/2607.10082v1
- Date: Sat, 11 Jul 2026 02:23:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.297747
- Title: Label-Free Target-Domain Adaptation for Unconstrained Event-Image Feature Matching via Dual-Stage Distillation
- Title(参考訳): デュアルステージ蒸留による制約のないイベント画像特徴マッチングのためのラベルフリーターゲットドメイン適応
- Abstract要約: クロスモーダルマッチング手法は、マッチングラベルまたは厳密に整列されたハードウェアに依存しているため、大きく制限されている。
本稿では,この問題に対処するための新しい2段階トレーニングパラダイムを提案する。
提案手法はMVSECとTUM-VIEの両方のポーズ推定タスクにおける最先端性能を実現する。
- 参考スコア(独自算出の注目度): 30.789763956644958
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Building pixel-level correspondence between event and image data is a fundamental task for multi-sensor systems. However, existing cross-modal matching methods are largely restricted by their reliance on either matching labels or strictly aligned hardware, which limits them to unlabeled and unconstrained real-world scenarios where neither matching ground truth nor prior sensor relationships are available. To address this, we propose a novel two-stage training paradigm. First, we leverage large-scale data to perform label-agnostic distillation pretraining, upgrading optimization objectives with distribution-based and contrastive losses to learn highly generalizable representations. Second, to tackle unlabeled and unconstrained downstream data, we introduce an epipolar-guided self-distillation framework. By utilizing consistency verification to isolate robust matches and incorporating geometric confidence derived from an external epipolar prior, our model can effectively self-evolve directly on target domains without any supervision. Furthermore, we introduce a rigorous cross-modal evaluation benchmark based on TUM-VIE, featuring physically separated cameras with distinct intrinsic parameters and resolutions. Extensive experiments demonstrate that our proposed method achieves state-of-the-art performance on both MVSEC and TUM-VIE pose estimation tasks. The source code and benchmark will be made publicly available at https://github.com/ZhonghuaYi/nexus2-official.
- Abstract(参考訳): イベントデータと画像データのピクセルレベルの対応性の構築は,マルチセンサシステムの基本課題である。
しかし、既存のクロスモーダルマッチング手法は、マッチングラベルか厳密に整列したハードウェアに依存しているため、一致した真実や事前のセンサー関係が利用できないような、ラベルのない、制約のない現実世界のシナリオに制限されている。
そこで本研究では,新しい2段階学習パラダイムを提案する。
まず,大規模データを活用してラベルに依存しない蒸留前訓練を行い,分布ベースと対照的な損失を伴う最適化目標を最適化し,高度に一般化可能な表現を学習する。
第2に、ラベルなしおよび制約なし下流データに取り組むために、エピポーラ誘導自己蒸留フレームワークを導入する。
整合性検証を利用して、頑健なマッチングを分離し、外部のエピポーラから派生した幾何的信頼を組み込むことにより、我々のモデルは、監督なしに、ターゲットドメインに直接効果的に自己進化することができる。
さらに,TUM-VIEに基づく厳密なクロスモーダル評価ベンチマークを導入する。
提案手法はMVSECとTUM-VIEの両方のポーズ推定タスクにおける最先端性能を実現することを実証した。
ソースコードとベンチマークはhttps://github.com/ZhonghuaYi/nexus2-officialで公開される。
関連論文リスト
- Hybrid Robustness Verification for Spatio-Temporal Neural Networks [19.026662893450425]
既存の検証方法は、過度に保守的な近似や不正な計算コストに依存している。
実際には、対向摂動は、低次元、意味論的に意味のある部分空間に制約された、構造化された空間的および時間的相関を示す。
動作認識(UCF-101)、自律運転(Udacity)、医用画像(MedMNIST)の用途を対象として、3次元CNNによる映像入力のロバスト性検証を行う。
論文 参考訳(メタデータ) (2026-06-08T17:06:51Z) - Semantic Segmentation for Histopathology using Learned Regularization based on Global Proportions [36.19647813139097]
本稿では,大域比から高密度なセグメンテーションを推定する2段階のフレームワークであるVSLP(Label Proportions)について紹介する。
エンド・ツー・エンドのネットワークとは異なり、我々の変分法はフィデリティ・正則化エネルギーを可視化し、より解釈可能なセグメンテーションをもたらす。
既存の教師なしおよび教師なしの手法よりも優れた性能を達成し、2つの公開データセットに対するアプローチを検証する。
論文 参考訳(メタデータ) (2026-04-27T11:42:56Z) - Toward Stable Semi-Supervised Remote Sensing Segmentation via Co-Guidance and Co-Fusion [31.189038928192648]
Co2Sは半教師付きRSセグメンテーションフレームワークで、ビジョン言語モデルと自己教師型モデルとを融合する。
テキスト埋め込みと学習可能なクエリを利用した,明示的でシンプルなセマンティックコガイダンス機構が導入された。
6つの一般的なデータセットに対する実験は,提案手法の優位性を実証している。
論文 参考訳(メタデータ) (2025-12-28T18:24:19Z) - Rethinking Infrared Small Target Detection: A Foundation-Driven Efficient Paradigm [17.63632082331749]
大規模視覚基盤モデル(VFM)は、多様な視覚領域にまたがる強力な一般化を示すが、単一フレーム赤外線小目標(SIRST)検出の可能性は、まだ明らかにされていない。
本稿では,既存のエンコーダデコーダベースの手法にシームレスに適応できるFDEP(Foundation-Driven Efficient Paradigm)を提案する。
論文 参考訳(メタデータ) (2025-12-05T08:12:35Z) - ConformalSAM: Unlocking the Potential of Foundational Segmentation Models in Semi-Supervised Semantic Segmentation with Conformal Prediction [57.930531826380836]
本研究は,未ラベル画像のアノテータとして画素レベルの視覚課題におけるラベル不足に,基礎的セグメンテーションモデルが対処できるかどうかを考察する。
ConformalSAMは,まず対象ドメインのラベル付きデータを用いて基礎モデルを校正し,ラベルなしデータの信頼できないピクセルラベルをフィルタリングする新しいSSSSフレームワークである。
論文 参考訳(メタデータ) (2025-07-21T17:02:57Z) - Prior2Former -- Evidential Modeling of Mask Transformers for Assumption-Free Open-World Panoptic Segmentation [74.55677741919035]
顕在学習に根ざしたセグメンテーション・ビジョン・トランスフォーマの最初のアプローチである Prefer2Former (P2F) を提案する。
P2Fは、ピクセル単位のバイナリマスク割り当てにおいて、モデル不確実性を計算するためのベータを組み込むことで、マスクビジョントランスフォーマーアーキテクチャを拡張している。
未知のクラスに対処するほとんどのセグメンテーションモデルとは異なり、P2FはOODデータサンプルへのアクセスや、ヴォイド(ラベルなし)クラスに対する対照的なトレーニングなしで動作する。
論文 参考訳(メタデータ) (2025-04-07T08:53:14Z) - FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [92.4205087439928]
画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。
自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。
PSTは、画像基盤モデルとの遅延空間アライメントによるクロスモーダルな知識伝達を確立し、データ不足を効果的に軽減する。
FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。
この組み合わせのアプローチにより、FUSEはターゲットデータセットに対する軽量デコーダ適応のみを必要とするユニバーサルなイメージイベントを構築することができる。
論文 参考訳(メタデータ) (2025-03-25T15:04:53Z) - Asymmetric Co-Training for Source-Free Few-Shot Domain Adaptation [5.611768906855499]
SFFSDAシナリオに特化して設計された非対称コトレーニング(ACT)手法を提案する。
ターゲットモデルをトレーニングするために、2段階の最適化プロセスを使用します。
本研究は,少数のラベル付き対象データのみを用いた事前学習モデルの適用により,実用的で信頼性の高い解が得られることを示唆する。
論文 参考訳(メタデータ) (2025-02-20T02:58:45Z) - Unsupervised Foggy Scene Understanding via Self Spatial-Temporal Label
Diffusion [51.11295961195151]
運転シーンの霧画像列の特徴を利用して、自信ある擬似ラベルを密度化する。
局所的な空間的類似性と逐次画像データの隣接時間対応の2つの発見に基づいて,新たなターゲット・ドメイン駆動擬似ラベル拡散方式を提案する。
本手法は,2つの天然霧のデータセット上で51.92%,53.84%の平均交叉結合(mIoU)を達成するのに有効である。
論文 参考訳(メタデータ) (2022-06-10T05:16:50Z) - Unsupervised Domain Adaptive Salient Object Detection Through
Uncertainty-Aware Pseudo-Label Learning [104.00026716576546]
そこで本研究では,手動のアノテーションを使わずに,自然に高いピクセルラベル品質を有する合成・クリーンなラベルから,サリエンスを学習することを提案する。
提案手法は,複数のベンチマークデータセット上で,既存の最先端の深層教師なしSOD法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-02-26T16:03:55Z) - Inter-class Discrepancy Alignment for Face Recognition [55.578063356210144]
IA(Inter-class DiscrepancyAlignment)という統合フレームワークを提案する。
IDA-DAOは、画像と隣人の相違を考慮した類似度スコアの整合に使用される。
IDA-SSEは、GANで生成された仮想候補画像を導入することで、説得力のあるクラス間隣人を提供できます。
論文 参考訳(メタデータ) (2021-03-02T08:20:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。