論文の概要: Reliable Multi-Modal Object Re-Identification via Modality-Aware Graph Reasoning

• arxiv url: http://arxiv.org/abs/2504.14847v1
• Date: Mon, 21 Apr 2025 03:58:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 19:38:29.541544
• Title: Reliable Multi-Modal Object Re-Identification via Modality-Aware Graph Reasoning
• Title（参考訳）: モダリティを考慮したグラフ推論による信頼性のあるマルチモーダル物体再同定
• Authors: Xixi Wan, Aihua Zheng, Zi Wang, Bo Jiang, Jin Tang, Jixin Ma,
• Abstract要約: 我々は、MGRNet(Modality-aware Graph Reasoning Network)と呼ばれる新しいグラフ推論モデルを活用することを提案する。 まず、微粒な局所的詳細の抽出を強化するために、モダリティ対応グラフを構築する。 次に、選択グラフノードスワップ演算を用いて、低品質な局所的特徴の悪影響を軽減する。
• 参考スコア（独自算出の注目度）: 20.242422751083588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal data provides abundant and diverse object information, crucial for effective modal interactions in Re-Identification (ReID) tasks. However, existing approaches often overlook the quality variations in local features and fail to fully leverage the complementary information across modalities, particularly in the case of low-quality features. In this paper, we propose to address this issue by leveraging a novel graph reasoning model, termed the Modality-aware Graph Reasoning Network (MGRNet). Specifically, we first construct modality-aware graphs to enhance the extraction of fine-grained local details by effectively capturing and modeling the relationships between patches. Subsequently, the selective graph nodes swap operation is employed to alleviate the adverse effects of low-quality local features by considering both local and global information, enhancing the representation of discriminative information. Finally, the swapped modality-aware graphs are fed into the local-aware graph reasoning module, which propagates multi-modal information to yield a reliable feature representation. Another advantage of the proposed graph reasoning approach is its ability to reconstruct missing modal information by exploiting inherent structural relationships, thereby minimizing disparities between different modalities. Experimental results on four benchmarks (RGBNT201, Market1501-MM, RGBNT100, MSVR310) indicate that the proposed method achieves state-of-the-art performance in multi-modal object ReID. The code for our method will be available upon acceptance.
• Abstract（参考訳）: マルチモーダルデータは、ReID(Re-Identification)タスクにおける効果的なモーダルインタラクションに不可欠な、多種多様なオブジェクト情報を提供する。 しかし、既存のアプローチは、しばしば局所的な特徴の品質の変化を見落とし、特に低品質な特徴の場合において、モダリティをまたいだ補完情報を十分に活用することができない。 本稿では,MGRNet(Modality-aware Graph Reasoning Network)と呼ばれる新しいグラフ推論モデルを活用することで,この問題に対処することを提案する。 具体的には、まず、パッチ間の関係を効果的に把握し、モデル化することにより、局所的なきめ細かい詳細を抽出するモダリティ対応グラフを構築する。 その後、選択グラフノードスワップ操作を用いて、局所情報と大域情報の両方を考慮して、低品質な局所特徴の悪影響を緩和し、識別情報の表現を強化する。 最後に、スワップされたモダリティ対応グラフを局所対応グラフ推論モジュールに入力し、マルチモーダル情報を伝播して信頼性の高い特徴表現を生成する。 グラフ推論手法のもう1つの利点は、固有の構造的関係を利用して欠落したモーダル情報を再構成し、異なるモーダル間の格差を最小限に抑えることである。 4つのベンチマーク(RGBNT201, Market1501-MM, RGBNT100, MSVR310)による実験結果から, 提案手法がマルチモーダルオブジェクトReIDにおける最先端性能を実現することを示す。 私たちのメソッドのコードは受け入れ次第利用可能です。

関連論文リスト

• NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
  本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。 NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。 提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-03-28T03:04:00Z)
• DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations [62.04558318166396]
  グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。 ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。 複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
  論文  参考訳（メタデータ） (2024-01-28T06:43:13Z)
• Learning Cross-modality Information Bottleneck Representation for Heterogeneous Person Re-Identification [61.49219876388174]
  Visible-Infrared person re-identification (VI-ReID)は、インテリジェントビデオ監視において重要かつ困難な課題である。 既存の手法は主に共有特徴空間の学習に重点を置いており、可視光と赤外光の相違を減らす。 本稿では,新しい相互情報・モダリティコンセンサスネットワーク,すなわちCMInfoNetを提案し,モダリティ不変な同一性の特徴を抽出する。
  論文  参考訳（メタデータ） (2023-08-29T06:55:42Z)
• Multi-view Graph Convolutional Networks with Differentiable Node Selection [29.575611350389444]
  差別化可能なノード選択(MGCN-DNS)を備えた多視点グラフ畳み込みネットワーク(Multi-view Graph Convolutional Network)を提案する。 MGCN-DNSは、マルチチャネルグラフ構造データを入力として受け入れ、微分可能なニューラルネットワークを通じてより堅牢なグラフ融合を学ぶことを目的としている。 提案手法の有効性は,最先端手法と厳密な比較により検証した。
  論文  参考訳（メタデータ） (2022-12-09T21:48:36Z)
• Augmenting Knowledge Transfer across Graphs [16.50013525404218]
  本稿では,グラフ間の知識伝達を増強する汎用学習フレームワークであるTransNETを紹介する。 特に、様々なグラフ信号を異なる粒度で自然に定式化できるトリニティ信号という新しい概念を導入する。 TransNETは7つのベンチマークデータセットに対する既存のアプローチを、大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-12-09T08:46:02Z)
• Towards Consistency and Complementarity: A Multiview Graph Information Bottleneck Approach [25.40829979251883]
  共有(一貫性)とビュー固有(相補性)情報をモデル化し、統合する方法は、マルチビューグラフ解析において重要な問題である。 本稿では,共通表現の合意とビュー固有表現の不一致を最大化するために,MVGIB(Multiview Variational Graph Information Bottleneck)の原理を提案する。
  論文  参考訳（メタデータ） (2022-10-11T13:51:34Z)
• Graph Neural Networks for Multi-Robot Active Information Acquisition [15.900385823366117]
  基礎となるグラフを通して通信する移動ロボットのチームは、興味のある現象を表す隠れた状態を推定する。 既存のアプローチはスケーラブルではないか、動的現象に対処できないか、あるいは通信グラフの変化に対して堅牢でないかのどちらかです。 本稿では,グラフ表現上に情報を集約し,逐次決定を分散的に行う情報対応グラフブロックネットワーク(I-GBNet)を提案する。
  論文  参考訳（メタデータ） (2022-09-24T21:45:06Z)
• Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition [54.23513799338309]
  骨格に基づく行動認識のための適応的局所成分認識グラフ畳み込みネットワークを提案する。 我々の手法はグローバルな埋め込みよりも強力な表現を提供し、我々のモデルが最先端に到達するのに役立ちます。
  論文  参考訳（メタデータ） (2022-09-21T02:33:07Z)
• CMTR: Cross-modality Transformer for Visible-infrared Person Re-identification [38.96033760300123]
  可視赤外人物再識別のための相互モダリティトランスフォーマー法(CMTR) 我々は,モダリティの情報をエンコードするために,トークン埋め込みと融合した新しいモダリティ埋め込みを設計する。 提案するCMTRモデルの性能は,既存のCNN方式をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-10-18T03:12:59Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)
• Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
  本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。 我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
  論文  参考訳（メタデータ） (2020-02-04T08:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。