論文の概要: TriDifNet: A Unified Three-Task Diffusion Network for End-to-End RGB-T Perception

• arxiv url: http://arxiv.org/abs/2610.37097v1
• Date: Tue, 27 Oct 2026 12:02:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.581374
• Title: TriDifNet: A Unified Three-Task Diffusion Network for End-to-End RGB-T Perception
• Title（参考訳）: TriDifNet: エンド・ツー・エンドのRGB-T知覚のための統合三相拡散ネットワーク
• Abstract要約: 赤外線と可視画像は、しばしばプラットフォームの動き、視点の変化、モダリティに依存した歪みのために不一致である。 エンドツーエンドのRGB-T知覚のための3タスク拡散ネットワークであるTriDifNetを提案する。 TriDifNetは、RGB-T歩行者の認識の不一致に対する登録、融合、検出を共同で最適化する最初の拡散ベースのネットワークである。
• 参考スコア（独自算出の注目度）: 12.618796912583017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Infrared--visible (IR--VIS) multi-modal perception supports robust scene understanding under challenging illumination. Infrared and visible images are often misaligned due to platform motion, viewpoint changes, and modality-dependent distortions, causing registration errors to propagate into subsequent fusion and detection stages. We propose TriDifNet, a unified three-task diffusion network for end-to-end RGB-T perception. To the best of our knowledge, TriDifNet is the first diffusion-based network that jointly optimizes registration, fusion, and detection for misaligned RGB-T pedestrian perception. TriDifNet consists of three diffusion-based modules, i.e., the Registration Diffusion Module (RegDM), the Fusion Diffusion Module (FusDM), and the Detection Diffusion Module (DetDM). RegDM aligns the unaligned infrared image to the optical reference by estimating a dense deformation field. FusDM performs residual conditional diffusion to generate a detection-oriented fused representation with optical structural cues and complementary infrared saliency. DetDM formulates pedestrian detection as an iterative denoising process in bounding-box space. To couple the three tasks, TriDifNet introduces a closed-loop optimization mechanism, where detection semantics guide fusion and registration, and the fusion result further regularizes geometric alignment. A stage-wise progressive training strategy and a lightweight Nash multi-task learning (Nash-MTL)-based late-stage refinement are further adopted to balance registration, fusion, and detection optimization. Extensive experiments on the KAIST multispectral pedestrian benchmark show that TriDifNet achieves superior downstream detection performance under misaligned RGB-T settings. Against strong system-level competitors, TriDifNet achieves 65.44\% Recall, 57.55\% mAP$_{50}$, and 26.83\% mAP$_{50:95}$.
• Abstract（参考訳）: 赤外可視(IR--VIS)マルチモーダル認識は、難解な照明下での堅牢なシーン理解を支援する。 赤外線と可視画像は、しばしばプラットフォームの動き、視点の変化、モダリティに依存した歪みのために不一致であり、登録エラーがその後の融合と検出段階に伝播する。 エンドツーエンドのRGB-T知覚のための3タスク拡散ネットワークであるTriDifNetを提案する。 私たちの知る限りでは、TriDifNetは、登録、融合、検出を共同で最適化し、不整合なRGB-T歩行者の認識を最適化する最初の拡散ベースのネットワークである。 TriDifNetは3つの拡散系モジュール、すなわち登録拡散モジュール(RegDM)、融合拡散モジュール(FusDM)、検出拡散モジュール(DetDM)から構成される。 RegDMは、高密度な変形場を推定することにより、不整合赤外線画像を光学基準に整列する。 FusDMは残差条件拡散を行い、光学的構造的手がかりと相補的赤外線塩分による検出指向の融合表現を生成する。 DetDMは、バウンディングボックス空間における反復デノナイジングプロセスとして歩行者検出を定式化する。 TriDifNetは3つのタスクを補完するためにクローズドループ最適化機構を導入し、検出セマンティクスは融合と登録をガイドし、融合結果は幾何アライメントをさらに規則化する。 段階的に進行するトレーニング戦略と軽量なNashマルチタスク学習(Nash-MTL)に基づく後期改良が、登録、融合、検出の最適化のバランスをとるためにさらに採用されている。 KAISTマルチスペクトル歩行者ベンチマークの大規模な実験により、TriDifNetはRGB-T設定が不一致である場合、より優れた下流検出性能が得られることが示された。 強力なシステムレベルの競合に対して、TriDifNetは65.44 %リコール、57.55 % mAP$_{50}$、26.83 % mAP$_{50:95}$を達成した。

関連論文リスト

• CMDS-AD: Cross-Modal Dual-Stream Decoupling for Few-Shot Anomaly Detection [22.190054508477704]
  訓練データに制限があるため、わずかな撮影異常検出は依然として困難である。 CMDS-AD(Cross-Modal Dual-Stream Anomaly Detection framework)を提案する。 CMDS-ADは、MVTec 3D-ADで5.7%(I-AUROC)と2.0%(AUPRO)の絶対的なパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2026-06-18T14:36:02Z)
• Tri-Modal Fusion Transformers for UAV-based Object Detection [1.338174941551702]
  本稿では、RGB、サーマル、イベントデータをデュアルストリーム階層型視覚変換器で処理するトリオモーダル・フレームワークを提案する。 10,489フレームのUAVデータセットを導入し,RGB-熱対流と24,223の注釈付き車両を同期・調整した。
  論文  参考訳（メタデータ） (2026-04-17T18:35:06Z)
• RTFDNet: Fusion-Decoupling for Robust RGB-T Segmentation [0.2578242050187029]
  RGB-Thermal (RGB-T)セマンティックセマンティックセグメンテーションは、低照度環境で動作するロボットシステムに不可欠である。 伝統的なアプローチは、しばしばモダリティバランスを過度に強調し、センサー信号が部分的に欠如している場合に、頑丈さや厳しい性能が制限される。
  論文  参考訳（メタデータ） (2026-03-10T03:40:26Z)
• Collaborating Vision, Depth, and Thermal Signals for Multi-Modal Tracking: Dataset and Algorithm [103.36490810025752]
  既存のマルチモーダルオブジェクト追跡アプローチは、主にRGB-DepthやRGB-Thermalのようなデュアルモーダルパラダイムに焦点を当てている。 本研究は、可視RGB、深度(D)、熱赤外(TIR)を含む3つの相補的なモードを利用する、新しいマルチモーダルトラッキングタスクを導入する。 我々はRDTTrackと呼ばれる新しいマルチモーダルトラッカーを提案する。これは、事前訓練されたRGBのみのトラッカーモデルを活用することで、ロバストトラッカーのためのトリモーダル情報を統合する。
  論文  参考訳（メタデータ） (2025-09-29T13:05:15Z)
• Robust Single-Stage Fully Sparse 3D Object Detection via Detachable Latent Diffusion [23.609914983496566]
  Denoising Diffusion Probabilistic Models (DDPM) は堅牢な3Dオブジェクト検出タスクに成功している。 RSDNetというDDPMの分離可能な遅延フレームワーク(DLF)を備えたロバスト一段完全スパース3Dオブジェクト検出ネットワークを提案する。
  論文  参考訳（メタデータ） (2025-08-05T09:30:39Z)
• Divide-and-Conquer: Confluent Triple-Flow Network for RGB-T Salient Object Detection [70.84835546732738]
  RGB-Thermal Salient Object Detectionは、目視と熱赤外画像のペア内の目立つ物体をピンポイントすることを目的としている。 従来のエンコーダ・デコーダアーキテクチャは、欠陥モードから生じるノイズに対する頑健さを十分に考慮していなかったかもしれない。 本稿では,Divide-and-Conquer戦略を用いた,堅牢なConfluent Triple-Flow NetworkであるConTriNetを提案する。
  論文  参考訳（メタデータ） (2024-12-02T14:44:39Z)
• M3DM-NR: RGB-3D Noisy-Resistant Industrial Anomaly Detection via Multimodal Denoising [63.39134873744748]
  既存の産業異常検出手法は主に、原始RGB画像を用いた教師なし学習に重点を置いている。 本稿では,CLIPの強力なマルチモーダル識別機能を利用する新しい耐雑音性M3DM-NRフレームワークを提案する。 M3DM-NRは3D-RGBマルチモーダルノイズ異常検出において最先端の手法より優れていた。
  論文  参考訳（メタデータ） (2024-06-04T12:33:02Z)
• A Single Stream Network for Robust and Real-time RGB-D Salient Object Detection [89.88222217065858]
  我々は、深度マップを用いて、RGBと深度の間の早期融合と中核融合を誘導する単一ストリームネットワークを設計する。 このモデルは、現在の最も軽量なモデルよりも55.5%軽く、32 FPSのリアルタイム速度で384倍の384ドルの画像を処理している。
  論文  参考訳（メタデータ） (2020-07-14T04:40:14Z)
• Jointly Modeling Motion and Appearance Cues for Robust RGB-T Tracking [85.333260415532]
  我々はRGBと熱(T)の両モードの融合重量マップを推定する新しい後期融合法を開発した。 外観キューが信頼できない場合には、動作キューを考慮に入れ、トラッカーを堅牢にする。 最近の3つのRGB-T追跡データセットの多くの結果から、提案したトラッカーは他の最先端のアルゴリズムよりも大幅に性能が向上していることが示された。
  論文  参考訳（メタデータ） (2020-07-04T08:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。