Fugu-MT 論文翻訳(概要): RGB-IR Cross-modality Person ReID based on Teacher-Student GAN Model

論文の概要: RGB-IR Cross-modality Person ReID based on Teacher-Student GAN Model

arxiv url: http://arxiv.org/abs/2007.07452v1
Date: Wed, 15 Jul 2020 02:58:46 GMT
ステータス: 処理完了
システム内更新日: 2022-11-10 05:56:08.674495
Title: RGB-IR Cross-modality Person ReID based on Teacher-Student GAN Model
Title（参考訳）: 教師学習型GANモデルに基づくRGB-IRクロスモダリティ人物ReID
Authors: Ziyue Zhang, Shuai Jiang, Congzhentao Huang, Yang Li and Richard Yi Da Xu
Abstract要約: 本稿では,教師-学生GANモデル(TS-GAN)を提案する。他のGANベースモデルとは異なり、提案されたモデルはテスト段階ではバックボーンモジュールのみを必要とするため、より効率的でリソースを節約できる。
参考スコア（独自算出の注目度）: 20.70796497371778
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: RGB-Infrared (RGB-IR) person re-identification (ReID) is a technology where the system can automatically identify the same person appearing at different parts of a video when light is unavailable. The critical challenge of this task is the cross-modality gap of features under different modalities. To solve this challenge, we proposed a Teacher-Student GAN model (TS-GAN) to adopt different domains and guide the ReID backbone to learn better ReID information. (1) In order to get corresponding RGB-IR image pairs, the RGB-IR Generative Adversarial Network (GAN) was used to generate IR images. (2) To kick-start the training of identities, a ReID Teacher module was trained under IR modality person images, which is then used to guide its Student counterpart in training. (3) Likewise, to better adapt different domain features and enhance model ReID performance, three Teacher-Student loss functions were used. Unlike other GAN based models, the proposed model only needs the backbone module at the test stage, making it more efficient and resource-saving. To showcase our model's capability, we did extensive experiments on the newly-released SYSU-MM01 RGB-IR Re-ID benchmark and achieved superior performance to the state-of-the-art with 49.8% Rank-1 and 47.4% mAP.
Abstract（参考訳）: RGB-赤外線(RGB-IR)パーソナライゼーション(ReID)とは、光が利用できないときにビデオの異なる部分に現れる同一人物を自動的に識別する技術である。この課題の重要な課題は、異なるモダリティ下の特徴の相互モダリティギャップである。この課題を解決するために、我々は異なるドメインを採用し、ReIDバックボーンをガイドし、より良いReID情報を学ぶためのTeacher-Student GANモデル(TS-GAN)を提案した。 1)対応するRGB-IR画像ペアを得るために,RGB-IR生成適応ネットワーク(GAN)を用いてIR画像を生成する。 2) アイデンティティのトレーニングを開始するために, IRモダリティ人物画像に基づいてReID 教師モジュールを訓練し, 学生のトレーニング指導に利用した。 (3) 同様に, 異なる領域の特徴に適応し, モデルReID性能を向上させるために, 教師・学生損失関数を3つ使用した。他のGANベースモデルとは異なり、提案されたモデルはテスト段階ではバックボーンモジュールのみを必要とするため、より効率的でリソースを節約できる。モデルの性能を示すため、新たにリリースされたSYSU-MM01 RGB-IR Re-IDベンチマークで広範な実験を行い、49.8%のRan-1と47.4%のmAPで最先端の性能を達成した。

関連論文リスト

UniRGB-IR: A Unified Framework for RGB-Infrared Semantic Tasks via Adapter Tuning [17.36726475620881]
我々は、RGB-IRセマンティックタスクを統合するために、UniRGB-IRと呼ばれる汎用的で効率的なフレームワークを提案する。よりリッチなRGB-IR機能を事前学習基盤モデルに効率的に導入する新しいアダプタを開発した。様々なRGB-IRダウンストリームタスクに対する実験結果から,本手法が最先端の性能を実現することを示す。
論文参考訳（メタデータ） (2024-04-26T12:21:57Z)
Visual Delta Generator with Large Multi-modal Models for Semi-supervised Composed Image Retrieval [50.72924579220149]
Composed Image Retrieval (CIR)は、提供されるテキスト修正に基づいて、クエリに似たイメージを取得するタスクである。現在の技術は、基準画像、テキスト、ターゲット画像のラベル付き三重項を用いたCIRモデルの教師あり学習に依存している。本稿では,参照とその関連対象画像を補助データとして検索する半教師付きCIR手法を提案する。
論文参考訳（メタデータ） (2024-04-23T21:00:22Z)
Dynamic Enhancement Network for Partial Multi-modality Person Re-identification [52.70235136651996]
複数のモーダルの表現能力を維持しつつ、任意のモダリティを欠くことができる新しい動的拡張ネットワーク(DENet)を設計する。欠落状態は変更可能であるため、動的拡張モジュールを設計し、欠落状態に応じて動的にモダリティ特性を適応的に向上する。
論文参考訳（メタデータ） (2023-05-25T06:22:01Z)
CoMAE: Single Model Hybrid Pre-training on Small-Scale RGB-D Datasets [50.6643933702394]
本稿では,RGBと深度変調のための単一モデル自己教師型ハイブリッド事前学習フレームワークについて述べる。我々のCoMAEは、コントラスト学習とマスク画像モデリングという2つの一般的な自己教師付き表現学習アルゴリズムを統合するためのカリキュラム学習戦略を提示している。
論文参考訳（メタデータ） (2023-02-13T07:09:45Z)
Multimodal Data Augmentation for Visual-Infrared Person ReID with Corrupted Data [10.816003787786766]
本稿では,V-I人物ReIDモデルのためのDA戦略を提案する。我々の戦略は、深い人物のReIDモデルの精度に対する汚職の影響を減らすことができる。以上の結果から,V-I ReIDモデルでは,共有知識と個別モダリティ知識の両方を活用できることが示唆された。
論文参考訳（メタデータ） (2022-11-22T00:29:55Z)
Students taught by multimodal teachers are superior action recognizers [41.821485757189656]
エゴセントリックなビデオ理解の焦点は、手動物体の相互作用をモデル化することである。しかし、RGBフレームを入力として受信する標準モデル -- CNN、ビジョントランスフォーマーなど -- は、オブジェクト検出、光フロー、オーディオなどの追加のモダリティを利用することで、そのパフォーマンスがさらに向上する。本研究の目的は、RGB画像のみを推論時に入力として使用しながら、そのようなマルチモーダルアプローチの性能を維持することである。
論文参考訳（メタデータ） (2022-10-09T19:37:17Z)
Teacher-Student Adversarial Depth Hallucination to Improve Face Recognition [11.885178256393893]
本稿では,教師・学生生成支援ネットワーク(TS-GAN)を用いて,単一のRGB画像から奥行き画像を生成する。見当たらないデータセットをうまく一般化するために、私たちはアーキテクチャの2つのコンポーネント、教師と学生を設計します。完全にトレーニングされた共有ジェネレータは実行時に使用でき、顔認識などの下流アプリケーションのためにRGBからの奥行きを幻覚することができる。
論文参考訳（メタデータ） (2021-04-06T11:07:02Z)
MOGAN: Morphologic-structure-aware Generative Learning from a Single Image [59.59698650663925]
近年,1つの画像のみに基づく生成モデルによる完全学習が提案されている。多様な外観のランダムなサンプルを生成するMOGANというMOrphologic-structure-aware Generative Adversarial Networkを紹介します。合理的な構造の維持や外観の変化など、内部機能に重点を置いています。
論文参考訳（メタデータ） (2021-03-04T12:45:23Z)
Self-Supervised Representation Learning for RGB-D Salient Object Detection [93.17479956795862]
我々は、自己教師付き表現学習を用いて、クロスモーダルオートエンコーダと深さ-輪郭推定という2つのプレテキストタスクを設計する。我々のプレテキストタスクは、ネットワークがリッチなセマンティックコンテキストをキャプチャする事前トレーニングを実行するのに、少数のRGB-Dデータセットしか必要としない。 RGB-D SODにおけるクロスモーダル核融合の固有の問題として,マルチパス核融合モジュールを提案する。
論文参考訳（メタデータ） (2021-01-29T09:16:06Z)
A Similarity Inference Metric for RGB-Infrared Cross-Modality Person Re-identification [66.49212581685127]
IRとRGBの相違が大きいため、モダリティの人物再識別(re-ID)は難しい課題である。既存のメソッドはこの課題に対処するため、典型的には、特徴分布やイメージスタイルをモダリティ間で整列させることで対処する。本稿では,モダリティ内サンプルの類似性を利用して,モダリティ間の相違を回避する新しい類似度推定指標(SIM)を提案する。
論文参考訳（メタデータ） (2020-07-03T05:28:13Z)
Cross-Spectrum Dual-Subspace Pairing for RGB-infrared Cross-Modality Person Re-Identification [15.475897856494583]
従来の人物識別はRGBカラー画像しか扱えないが、暗い条件下では失敗する。 RGB赤外線ReID(Infrared-Visible ReID、Visible-Thermal ReIDとも呼ばれる)が提案されている。本稿では, 新たなマルチスペクトル画像生成手法を提案し, 生成したサンプルを用いて, ネットワークの識別情報検索を支援する。
論文参考訳（メタデータ） (2020-02-29T09:01:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。