Fugu-MT 論文翻訳(概要): AXM-Net: Cross-Modal Context Sharing Attention Network for Person Re-ID

論文の概要: AXM-Net: Cross-Modal Context Sharing Attention Network for Person Re-ID

arxiv url: http://arxiv.org/abs/2101.08238v2
Date: Fri, 19 Mar 2021 15:28:49 GMT
ステータス: 処理完了
システム内更新日: 2021-03-22 11:28:37.917380
Title: AXM-Net: Cross-Modal Context Sharing Attention Network for Person Re-ID
Title（参考訳）: AXM-Net:Person Re-IDのためのクロスモーダルコンテキスト共有アテンションネットワーク
Authors: Ammarah Farooq, Muhammad Awais, Josef Kittler, Syed Safwan Khalid
Abstract要約: クロスモーダルな人物識別(Re-ID)は、現代のビデオ監視システムにおいて重要である。主な課題は、人に存在する意味情報に従ってモダリティ間表現を整合させ、背景情報を無視することです。 AXM-Netは、意味的に整列された視覚およびテキスト表現を学習するために設計された新しいCNNベースのアーキテクチャである。
参考スコア（独自算出の注目度）: 20.700750237972155
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Cross-modal person re-identification (Re-ID) is critical for modern video surveillance systems. The key challenge is to align inter-modality representations according to semantic information present for a person and ignore background information. In this work, we present AXM-Net, a novel CNN based architecture designed for learning semantically aligned visual and textual representations. The underlying building block consists of multiple streams of feature maps coming from visual and textual modalities and a novel learnable context sharing semantic alignment network. We also propose complementary intra modal attention learning mechanisms to focus on more fine-grained local details in the features along with a cross-modal affinity loss for robust feature matching. Our design is unique in its ability to implicitly learn feature alignments from data. The entire AXM-Net can be trained in an end-to-end manner. We report results on both person search and cross-modal Re-ID tasks. Extensive experimentation validates the proposed framework and demonstrates its superiority by outperforming the current state-of-the-art methods by a significant margin.
Abstract（参考訳）: クロスモーダルな人物識別(Re-ID)は、現代のビデオ監視システムにおいて重要である。鍵となる課題は、人に存在する意味情報に従ってモダリティ間の表現を調整し、背景情報を無視することである。本稿では,意味的に整合した視覚表現とテキスト表現を学ぶために設計された新しいcnnベースのアーキテクチャであるaxm-netを提案する。基盤となるビルディングブロックは、視覚とテキストのモダリティから来る複数の特徴マップストリームと、新しい学習可能なコンテキスト共有セマンティックアライメントネットワークで構成されている。また,特徴のよりきめ細かな局所的詳細と,頑健な特徴マッチングのための相互親和性損失に焦点を合わせるために,相補的なモーダル内注意学習機構を提案する。私たちの設計は、データから機能アライメントを暗黙的に学習できるという点でユニークです。 AXM-Net全体はエンドツーエンドでトレーニングできる。人物検索とクロスモーダルなRe-IDタスクについて報告する。大規模な実験により提案した枠組みを検証し,その優位性を示す。

関連論文リスト

X-VILA: Cross-Modality Alignment for Large Language Model [91.96081978952283]
X-VILAは、画像、ビデオ、オーディオのモダリティを組み込むことで、大きな言語モデル(LLM)の機能を拡張するために設計された、オールニモダリティモデルである。視覚情報損失問題に対処するため,視覚埋め込みハイウェイモジュールを用いた視覚アライメント機構を提案する。 X-VILAは、あらゆるモダリティの会話に習熟し、それまでのアプローチを大きなマージンで上回っている。
論文参考訳（メタデータ） (2024-05-29T17:59:58Z)
CLIP-Driven Semantic Discovery Network for Visible-Infrared Person Re-Identification [39.262536758248245]
モダリティ間の同一性マッチングは、VIReIDにおいて重要な課題である。本稿では,CLIP-Driven Semantic Discovery Network(CSDN)を提案する。
論文参考訳（メタデータ） (2024-01-11T10:20:13Z)
Learning Cross-modality Information Bottleneck Representation for Heterogeneous Person Re-Identification [61.49219876388174]
Visible-Infrared person re-identification (VI-ReID)は、インテリジェントビデオ監視において重要かつ困難な課題である。既存の手法は主に共有特徴空間の学習に重点を置いており、可視光と赤外光の相違を減らす。本稿では,新しい相互情報・モダリティコンセンサスネットワーク,すなわちCMInfoNetを提案し,モダリティ不変な同一性の特徴を抽出する。
論文参考訳（メタデータ） (2023-08-29T06:55:42Z)
Learning Robust Visual-Semantic Embedding for Generalizable Person Re-identification [11.562980171753162]
一般化可能な人物識別(Re-ID)は、機械学習とコンピュータビジョンにおいて非常にホットな研究トピックである。従来の手法は主に視覚表現学習に焦点をあてるが、訓練中の意味的特徴の可能性を検討することは無視される。 MMETと呼ばれるマルチモーダル等価変換器を提案し,より堅牢なビジュアル・セマンティックな埋め込み学習を実現する。
論文参考訳（メタデータ） (2023-04-19T08:37:25Z)
Feature Disentanglement Learning with Switching and Aggregation for Video-based Person Re-Identification [9.068045610800667]
映像人物再識別(Re-ID)では、連続したフレームから対象人物の特徴を一貫して抽出する必要がある。既存の手法は時間的情報の使用方法にのみ焦点をあてる傾向があり、しばしばネットワークは同じような外観と同じ背景に騙される。本稿では,DSANet(Disentanglement and Switching and Aggregation Network)を提案する。
論文参考訳（メタデータ） (2022-12-16T04:27:56Z)
Seeing What You Miss: Vision-Language Pre-training with Semantic Completion Learning [22.464424641734652]
クロスモーダルアライメントは視覚言語事前学習モデルに不可欠である。本研究では,グローバル・ローカル・アライメントを支援するセマンティック・コンプリート学習タスクを提案する。また、フレキシブル・ビジョン・エンコーダを導入し、画像テキストとビデオテキストのマルチモーダルタスクを同時に実行できるようにした。
論文参考訳（メタデータ） (2022-11-24T06:39:16Z)
CLIP-Driven Fine-grained Text-Image Person Re-identification [50.94827165464813]
TIReIDは、候補画像のプールから与えられたテキストクエリに対応する画像を取得することを目的としている。 TIReIDにおけるCLIPの強力な知識をフル活用するための,CLIP駆動のきめ細かい情報抽出フレームワーク(CFine)を提案する。
論文参考訳（メタデータ） (2022-10-19T03:43:12Z)
mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
論文参考訳（メタデータ） (2022-05-24T11:52:06Z)
Cross-modal Representation Learning for Zero-shot Action Recognition [67.57406812235767]
我々は、ゼロショット動作認識(ZSAR)のためのビデオデータとテキストラベルを共同で符号化するクロスモーダルトランスフォーマーベースのフレームワークを提案する。我々のモデルは概念的に新しいパイプラインを使用し、視覚的表現と視覚的意味的関連をエンドツーエンドで学習する。実験結果から,本モデルはZSARの芸術的状況に大きく改善され,UCF101,HMDB51,ActivityNetベンチマークデータセット上でトップ1の精度が向上した。
論文参考訳（メタデータ） (2022-05-03T17:39:27Z)
Vision-Language Pre-Training with Triple Contrastive Learning [45.80365827890119]
モーダル・インターモーダル・セルフ・スーパービジョンとクロスモーダル・イントラモーダル・セルフスーパービジョンの両方を活用することで、視覚言語事前学習のための三重コントラスト学習(TCL)を提案する。マルチモーダル表現学習のための局所構造情報を考慮した最初の研究である。
論文参考訳（メタデータ） (2022-02-21T17:54:57Z)
IAUnet: Global Context-Aware Feature Learning for Person Re-Identification [106.50534744965955]
IAUブロックは、グローバル空間、時間、チャネルコンテキストを組み込むことができる。軽量でエンドツーエンドのトレーニングが可能で、既存のCNNに簡単に接続してIAUnetを形成することができる。実験の結果、IAUnetは画像とビデオの両方で最先端のreIDタスクに対して好意的に機能することがわかった。
論文参考訳（メタデータ） (2020-09-02T13:07:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。