論文の概要: DCG ReID: Disentangling Collaboration and Guidance Fusion Representations for Multi-modal Vehicle Re-Identification
- arxiv url: http://arxiv.org/abs/2601.02924v1
- Date: Tue, 06 Jan 2026 11:09:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-07 17:02:12.904588
- Title: DCG ReID: Disentangling Collaboration and Guidance Fusion Representations for Multi-modal Vehicle Re-Identification
- Title(参考訳): DCG ReID:マルチモーダル車両再同定のための遠隔協調と誘導融合表現
- Authors: Aihua Zheng, Ya Gao, Shihao Li, Chenglong Li, Jin Tang,
- Abstract要約: マルチモーダル車両リID(DCG-ReID)におけるディスタングル協調と誘導融合表現を提案する。
具体的には、相互干渉を伴わない不均一な品質分散モーダルデータを切り離すために、まず動的信頼に基づくDCDW(Disentangling Weighting)機構を設計する。
筆者らは,(1)品質分布の均衡化,(CFM)コラボレーション・フュージョン・モジュール(CFM)が共有識別情報の収集とクラス内整合性向上のために相互にコンセンサス特性をマイニングすること,(2)不均衡分布の調整,(GFM)誘導融合モジュール(GFM)が支配的モダリティの強化のために偏差増幅を実装していること,の2つのシナリオ特異的融合戦略を開発した。
- 参考スコア(独自算出の注目度): 26.52384456327148
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal vehicle Re-Identification (ReID) aims to leverage complementary information from RGB, Near Infrared (NIR), and Thermal Infrared (TIR) modalities to retrieve the same vehicle. The challenges of multi-modal vehicle ReID arise from the uncertainty of modality quality distribution induced by inherent discrepancies across modalities, resulting in distinct conflicting fusion requirements for data with balanced and unbalanced quality distributions. Existing methods handle all multi-modal data within a single fusion model, overlooking the different needs of the two data types and making it difficult to decouple the conflict between intra-class consistency and inter-modal heterogeneity. To this end, we propose Disentangle Collaboration and Guidance Fusion Representations for Multi-modal Vehicle ReID (DCG-ReID). Specifically, to disentangle heterogeneous quality-distributed modal data without mutual interference, we first design the Dynamic Confidence-based Disentangling Weighting (DCDW) mechanism: dynamically reweighting three-modal contributions via interaction-derived modal confidence to build a disentangled fusion framework. Building on DCDW, we develop two scenario-specific fusion strategies: (1) for balanced quality distributions, Collaboration Fusion Module (CFM) mines pairwise consensus features to capture shared discriminative information and boost intra-class consistency; (2) for unbalanced distributions, Guidance Fusion Module (GFM) implements differential amplification of modal discriminative disparities to reinforce dominant modality advantages, guide auxiliary modalities to mine complementary discriminative info, and mitigate inter-modal divergence to boost multi-modal joint decision performance. Extensive experiments on three multi-modal ReID benchmarks (WMVeID863, MSVR310, RGBNT100) validate the effectiveness of our method. Code will be released upon acceptance.
- Abstract(参考訳): マルチモーダル車両再識別(ReID)は、RGB、近赤外線(NIR)、熱赤外線(TIR)の相補的な情報を活用して同じ車両を回収することを目的としている。
マルチモーダル車両ReIDの課題は、モダリティ間の固有の不一致によって引き起こされるモダリティ品質分布の不確実性から生じ、バランスの取れた品質分布と不均衡な品質分布を持つデータに対して、異なる相反する融合要求が生じる。
既存の方法は、単一の融合モデル内で全てのマルチモーダルデータを処理し、2つのデータタイプの異なるニーズを見極め、クラス内の一貫性とモーダル間不均一性の相違を分離することが困難になる。
そこで本研究では,マルチモーダル車両リID(DCG-ReID)のためのディスタングル協調・誘導融合表現を提案する。
具体的には、相互干渉なしに不均一な品質分散モーダルデータを分散するために、まず動的信頼に基づく分散重み付け(DCDW: Disentangling Weighting)機構を設計する。
DCDW 上に構築したシナリオ特異的融合戦略は,(1) 品質分布のバランス化,(CFM) 協調融合モジュール(CFM) は,共有識別情報の取得とクラス内整合性の向上,(2) 不均衡分布のための誘導融合モジュール(GFM) は,支配的モダリティ優位性を強化するために,モーダル識別の差分増幅を実装し,相補的識別情報への補助的モダリティの誘導と,複数モーダル共同決定性能の向上のためにモーダル間偏差の緩和を行う。
3つのマルチモーダルReIDベンチマーク(WMVeID863, MSVR310, RGBNT100)の大規模な実験により, 本手法の有効性が検証された。
コードは受理時にリリースされる。
関連論文リスト
- Multi-modal cross-domain mixed fusion model with dual disentanglement for fault diagnosis under unseen working conditions [7.135832969368086]
本稿では,マルチモーダルクロスドメイン混合核融合モデルを提案する。
一定時間および時間変化のある作業条件下での誘導運動障害診断実験を行った。
論文 参考訳(メタデータ) (2025-12-31T07:10:32Z) - Hyper-modal Imputation Diffusion Embedding with Dual-Distillation for Federated Multimodal Knowledge Graph Completion [59.54067771781552]
本稿では,FedMKGCのマルチモーダル不確実性とマルチモーダルクライアントの不均一性問題に対処するMMFeD3-HidEというフレームワークを提案する。
本稿では,MMFedEという一般的なFedMKGCバックボーン,異種マルチモーダル情報を持つデータセット,構築されたベースラインの3つのグループからなる総合評価のためのFedMKGCベンチマークを提案する。
論文 参考訳(メタデータ) (2025-06-27T09:32:58Z) - Enhancing Unimodal Latent Representations in Multimodal VAEs through Iterative Amortized Inference [20.761803725098005]
マルチモーダル変分オートエンコーダ(VAE)は、異なるデータモダリティからの情報を統合することで、共有潜在表現をキャプチャすることを目的としている。
重要な課題は、あらゆる可能なモダリティの組み合わせに対して、非現実的な数の推論ネットワークを訓練することなく、任意のモダリティのサブセットから正確に表現を推論することである。
本稿では,マルチモーダルVAEフレームワーク内での反復的改善機構であるマルチモーダル反復補正推論を導入する。
論文 参考訳(メタデータ) (2024-10-15T08:49:38Z) - Robust Modality-incomplete Anomaly Detection: A Modality-instructive Framework with Benchmark [69.02666229531322]
モダリティ不完全産業異常検出(MIIAD)の先駆的研究を紹介する。
その結果,既存のMIAD手法はMIIADベンチでは性能が悪く,性能が著しく低下していることが判明した。
本稿では,新しい2段階のロバストモードアリティファジングと検出フレームwoRk(RADAR)を提案する。
論文 参考訳(メタデータ) (2024-10-02T16:47:55Z) - Modality Unifying Network for Visible-Infrared Person Re-Identification [24.186989535051623]
Visible-infrared person re-identification (VI-ReID) は、異種間の大きな相違とクラス内変異のために難しい課題である。
既存の手法は主に、異なるモダリティを同じ特徴空間に埋め込むことで、モダリティ共有表現を学習することに焦点を当てている。
そこで我々は,VI-ReID の頑健な補助モダリティを探索するために,新しいモダリティ統一ネットワーク (MUN) を提案する。
論文 参考訳(メタデータ) (2023-09-12T14:22:22Z) - Deep Equilibrium Multimodal Fusion [88.04713412107947]
多重モーダル融合は、複数のモーダルに存在する相補的な情報を統合し、近年多くの注目を集めている。
本稿では,動的多モード核融合プロセスの固定点を求めることにより,多モード核融合に対する新しいDeep equilibrium (DEQ)法を提案する。
BRCA,MM-IMDB,CMU-MOSI,SUN RGB-D,VQA-v2の実験により,DEC融合の優位性が示された。
論文 参考訳(メタデータ) (2023-06-29T03:02:20Z) - Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical
Fusion for Multimodal Affect Recognition [69.32305810128994]
モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。
本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。
HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
論文 参考訳(メタデータ) (2023-05-23T01:24:15Z) - Exploiting modality-invariant feature for robust multimodal emotion
recognition with missing modalities [76.08541852988536]
我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。
提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
論文 参考訳(メタデータ) (2022-10-27T12:16:25Z) - Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal
Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。
モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文 参考訳(メタデータ) (2021-07-28T23:33:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。