論文の概要: Residual Optimal Transport-Based Experts Collaboration Towards Modality-Aware Infrared-Visible Object Detection
- arxiv url: http://arxiv.org/abs/2609.03516v1
- Date: Thu, 03 Sep 2026 08:17:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:38.980895
- Title: Residual Optimal Transport-Based Experts Collaboration Towards Modality-Aware Infrared-Visible Object Detection
- Title（参考訳）: モダリティを意識した赤外可視物体検出に向けた残差移動型エキスパートの協調
- Abstract要約: 赤外線可視物体検出(IVOD)は、可視・赤外線センサーによる補完的な証拠を統合し、挑戦シーンにおける信頼性の高い認識を可能にする。
既存のIVOD法では、両方のモダリティは常に存在すると仮定し、一方のストリームが欠落すると固定核融合は崩壊する。
本稿では,統合経路と融合強度を柔軟に割り当てる統一的適応手法であるFlexibleFusionを提案する。
- 参考スコア（独自算出の注目度）: 32.789263426464025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Infrared-visible object detection (IVOD) integrates complementary evidence from visible and infrared sensors for reliable perception in challenging scenes. In practice, sensors may fail or drop frames, leaving one modality unavailable or intermittent. Existing methods for IVOD assume both modalities are always present, and fixed fusion collapses when one stream is missing. Furthermore, it remains a critical challenge to reliably estimate semantic correlation across heterogeneous modalities, especially under spectral distribution discrepancy. We present FlexibleFusion, a unified and adaptive method that flexibly allocates integration pathways and fusion strength, operating seamlessly across complete and missing-modality regimes. At its core, the Modality-Aware Experts Collaboration (MAEC) mechanism selectively activates and aggregates cross-modal or intra-modal expert pathways. It allows cross-modal fusion when full modalities are available and falls back to self-fusion under missing conditions. Additionally, we design Residual Self-Paced Entropic Optimal Transport (RSPEOT) to align heterogeneous feature distributions from a transport perspective. Instead of relying on the fixed sparsity coefficient in standard entropic optimal transport (EOT), RSPEOT introduces a residual-driven self-paced update that prioritizes reliable matches and progressively refines harder ones. This design alleviates the additional optimization burden of standard EOT while preserving reliable semantic alignment. Comprehensive experiments under complete and missing-modality protocols show consistent performance across arbitrary modality configurations. Code will be released upon publication.
- Abstract（参考訳）: 赤外線可視物体検出(IVOD)は、可視・赤外線センサーによる補完的な証拠を統合し、挑戦シーンにおける信頼性の高い認識を可能にする。
実際には、センサーはフレームをフェールまたはドロップし、1つのモダリティが利用できないか、断続的に残る。
既存のIVOD法では、両方のモダリティは常に存在すると仮定し、一方のストリームが欠落すると固定核融合は崩壊する。
さらに、特にスペクトル分布の相違の下で、不均一なモード間の意味的相関を確実に推定することは、依然として重要な課題である。
本稿では,統合経路と融合強度を柔軟に割り当てる統一的適応的手法であるFlexibleFusionについて述べる。
その中核は、Modality-Aware Experts Collaboration (MAEC) メカニズムによって、クロスモーダルまたはイントラモーダルのエキスパートパスを選択的に活性化し集約する。
完全なモダリティが利用可能であれば、クロスモーダル融合を可能にし、不足した条件下では自己融合に戻る。
さらに、輸送の観点からの不均一な特徴分布を調整するために、Residual Self-Paced Entropic Optimal Transport (RSPEOT) を設計する。
標準エントロピー最適輸送(EOT)における固定間隔係数に頼る代わりに、RSPEOTは信頼性の高いマッチを優先し、より難しいものを徐々に洗練する残差駆動のセルフペースト更新を導入する。
この設計は、信頼性のあるセマンティックアライメントを維持しながら、標準EOTのさらなる最適化負担を軽減する。
完全なモダリティプロトコルの下での総合的な実験は、任意のモダリティ構成に対して一貫した性能を示す。
コードは出版時に公開される。
関連論文リスト
- TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs [83.78708832901194]
大規模ビデオ言語モデル(LVLM)は、野生のマルチモーダル感情認識(ER)のようなマルチモーダルタスクにおいて顕著なパフォーマンスを示している。
しかし、現実のデプロイメントは依然として困難であり、テスト時にモダリティが欠落したりうる。
凍結した教師が自己蒸留により適応的な低学級の生徒を指導する手法を提案する。
MELD, DFEW, BAHを0%-50%のモダリティで実験した結果, この統一型適応復元設計はエントロピーベースの適応, RAG, およびパープレキシティベースの生成より一貫して優れていた。
論文 参考訳（メタデータ） (2026-08-18T23:40:28Z) - Scale-Consistent Posterior Dynamics for Diffusion Inverse Problems [16.685352002333225]
事前訓練された拡散前の後方サンプリングは、一般に難易度成分を有する条件付きスコアによって管理される。
クリーン後部にターゲットが近づいた騒音条件付き経路が連続的なサロゲートSDEを生成することを示す。
FFHQ と ImageNet の100点評価実験により,超解像および分解能の競争再現性を示す。
論文 参考訳（メタデータ） (2026-08-15T09:38:41Z) - Dual-Edged Homogeneous-Modality Similarity: Towards Visible-Infrared Modality-Incomplete Person Re-Identification with Modality Adaptive Matching [60.86381869046298]
我々は, Visible-Infrared Modality-Incomplete Re-Identification (VIMI-ReID) タスクを形式化する。
VIMI-ReIDにおける予測不可能なモダリティの組み合わせと、同質なモダリティサンプルの固有の類似性は、大きな性能低下を引き起こす。
モーダリティ固有およびモーダリティ共有特徴を抽出するMAMT(Modality Adaptive Matching Transformer)を提案する。
論文 参考訳（メタデータ） (2026-07-21T04:10:20Z) - Missing-Aware Multimodal Fusion for Unified Microservice Incident Management [22.703696384749595]
ARMORは、モダリティの欠如を前提とした、自己管理型のフレームワークである。
自己監督型自己回帰とマスク誘導型再構成を用いて、異常検出、障害トリアージ、根本原因の局在を共同で最適化する。
完全なデータ条件下での最先端性能を実現し、厳密なモダリティ損失でも堅牢な診断精度を維持する。
論文 参考訳（メタデータ） (2026-03-26T15:14:57Z) - Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。
従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。
我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
論文 参考訳（メタデータ） (2026-03-07T03:58:48Z) - Towards Robust Optical-SAR Object Detection under Missing Modalities: A Dynamic Quality-Aware Fusion Framework [27.71603877164877]
光・合成開口レーダ(SAR)融合による物体検出はリモートセンシングに大きな研究関心を集めている。
本稿では,光SARオブジェクト検出のためのQDFNet(Quality-Aware Dynamic Fusion Network)を提案する。
論文 参考訳（メタデータ） (2025-12-27T03:16:48Z) - Modality-Aware Bias Mitigation and Invariance Learning for Unsupervised Visible-Infrared Person Re-Identification [14.343677160918723]
教師なし可視赤外線人物再識別(USVI-ReID)は、アノテーションに頼ることなく、可視・赤外線カメラ間で個人をマッチングすることを目的としている。
信頼性の高いクロスモダリティ・アソシエーションを推定することは、USVI-ReIDにおいて大きな課題である。
本稿では、偏りを緩和したグローバルアソシエーションとモダリティ不変表現学習という2つの側面から、モダリティ間の学習に対処することに焦点を当てる。
論文 参考訳（メタデータ） (2025-12-08T17:42:28Z) - UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。
階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。
我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
論文 参考訳（メタデータ） (2025-09-19T17:29:25Z) - ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。
現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。
本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
論文 参考訳（メタデータ） (2025-08-19T12:13:41Z) - ACD-CLIP: Decoupling Representation and Dynamic Fusion for Zero-Shot Anomaly Detection [21.26826497960086]
ゼロショット異常検出(ZSAD)によるVLMの事前訓練
パラメータ効率のよい畳み込み型低ランク適応 (Conv-LoRA) アダプタを提案する。
また、テキストプロンプトを適応的に変調するために視覚的コンテキストを活用する動的フュージョンゲートウェイ(DFG)を導入する。
論文 参考訳（メタデータ） (2025-08-11T10:03:45Z) - ADMC: Attention-based Diffusion Model for Missing Modalities Feature Completion [25.1725138364452]
注意に基づく障害特徴補完(ADMC)のための拡散モデルを提案する。
本フレームワークは,各モダリティに対する特徴抽出ネットワークを独立に訓練し,その特性を保ち,オーバーカップリングを回避する。
提案手法は,IEMOCAPおよびMIntRecベンチマークの最先端結果を実現し,欠落シナリオと完全モダリティシナリオの両方において,その有効性を示す。
論文 参考訳（メタデータ） (2025-07-08T03:08:52Z) - Optimal Transport Adapter Tuning for Bridging Modality Gaps in Few-Shot Remote Sensing Scene Classification [80.83325513157637]
Few-Shot Remote Sensing Scene Classification (FS-RSSC)は,限られたラベル付きサンプルを用いたリモートセンシング画像の分類の課題を示す。
理想的なプラトン表現空間を構築することを目的とした,OTAT(Optimal Transport Adapter Tuning)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-19T07:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。