論文の概要: VI-Diff: Unpaired Visible-Infrared Translation Diffusion Model for
Single Modality Labeled Visible-Infrared Person Re-identification
- arxiv url: http://arxiv.org/abs/2310.04122v1
- Date: Fri, 6 Oct 2023 09:42:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-09 20:59:24.187272
- Title: VI-Diff: Unpaired Visible-Infrared Translation Diffusion Model for
Single Modality Labeled Visible-Infrared Person Re-identification
- Title（参考訳）: vi-diff:可視赤外人物再同定のための非対向可視赤外翻訳拡散モデル
- Authors: Han Huang, Yan Huang, Liang Wang
- Abstract要約: モダリティ間のデータアノテーションは、可視的・赤外線の人物の再識別に費用がかかり、エラーを起こしやすい。
視覚・赤外線画像変換の課題を効果的に解決する拡散モデルであるVI-Diffを提案する。
我々のアプローチは、単一のモダリティラベル付きデータを用いたVI-ReIDタスクの有望な解決策であり、将来の研究の出発点となる。
- 参考スコア（独自算出の注目度）: 14.749167141971952
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visible-Infrared person re-identification (VI-ReID) in real-world scenarios
poses a significant challenge due to the high cost of cross-modality data
annotation. Different sensing cameras, such as RGB/IR cameras for good/poor
lighting conditions, make it costly and error-prone to identify the same person
across modalities. To overcome this, we explore the use of single-modality
labeled data for the VI-ReID task, which is more cost-effective and practical.
By labeling pedestrians in only one modality (e.g., visible images) and
retrieving in another modality (e.g., infrared images), we aim to create a
training set containing both originally labeled and modality-translated data
using unpaired image-to-image translation techniques. In this paper, we propose
VI-Diff, a diffusion model that effectively addresses the task of
Visible-Infrared person image translation. Through comprehensive experiments,
we demonstrate that VI-Diff outperforms existing diffusion and GAN models,
making it a promising solution for VI-ReID with single-modality labeled data.
Our approach can be a promising solution to the VI-ReID task with
single-modality labeled data and serves as a good starting point for future
study. Code will be available.
- Abstract（参考訳）: 実世界のシナリオにおける可視赤外人物再同定(vi-reid)は、クロスモダリティデータアノテーションのコストが高いため、大きな課題となる。
良質な照明条件のRGB/IRカメラのような異なるセンサーカメラは、同じ人物をモダリティで識別するコストとエラーを発生させる。
これを解決するために、よりコスト効率が高く実用的なVI-ReIDタスクに単一のモダリティラベル付きデータを使用することを検討する。
歩行者を1つのモダリティ(可視画像など)にラベル付けし、別のモダリティ(赤外画像など)で検索することで、本来のラベル付きデータとモダリティ変換データの両方を含むトレーニングセットを作成することを目指している。
本稿では,可視赤外画像変換の課題を効果的に解決する拡散モデルvi-diffを提案する。
包括的実験により、VI-Diffは既存の拡散モデルとGANモデルより優れており、単一のモダリティラベル付きデータを用いたVI-ReIDの有望な解であることを示す。
我々のアプローチは、単一のモダリティラベル付きデータを用いたVI-ReIDタスクの有望な解決策であり、将来の研究の出発点となる。
コードは利用可能だ。
関連論文リスト
- Effective and Efficient Adversarial Detection for Vision-Language Models via A Single Vector [97.92369017531038]
Diverse hArmful Responses (RADAR) を用いた新しい laRge-scale Adervsarial 画像データセットを構築した。
そこで我々は,視覚言語モデル (VLM) の隠れ状態から抽出した1つのベクトルを利用して,入力中の良質な画像に対して対向画像を検出する,新しいiN時間埋め込み型AdveRSarial Image Detectction (NEARSIDE) 法を開発した。
論文 参考訳（メタデータ） (2024-10-30T10:33:10Z) - Mutual Information Guided Optimal Transport for Unsupervised Visible-Infrared Person Re-identification [39.70083261306122]
非監視型赤外線人物再識別 (USVI-ReID) は, ラベル情報を用いることなく, 異質な歩行者画像を取得することを目的とした, 難易度の高い検索課題である。
本稿では,モデルの相互情報に基づいて,教師なしVI-ReIDの最適化目標を導出する。
彼らの指導のもと、モデルトレーニングと相互モダリティマッチングの交互にループ反復的なトレーニング戦略を設計する。
論文 参考訳（メタデータ） (2024-07-17T17:32:07Z) - Dynamic Identity-Guided Attention Network for Visible-Infrared Person Re-identification [17.285526655788274]
Visible-infrared person re-identification (VI-ReID) は、可視光と赤外線の同一性を持つ人物をマッチングすることを目的としている。
既存の方法は一般的に、画像や特徴レベルでのクロスモーダルな違いを橋渡ししようとする。
我々は、動的ID誘導型注意ネットワーク(DIAN)を導入し、アイデンティティ誘導型およびモダリティ一貫性のある埋め込みをマイニングする。
論文 参考訳（メタデータ） (2024-05-21T12:04:56Z) - Cross-Modality Perturbation Synergy Attack for Person Re-identification [66.48494594909123]
相互モダリティReIDの主な課題は、異なるモダリティ間の視覚的差異を効果的に扱うことである。
既存の攻撃方法は、目に見える画像のモダリティの特徴に主に焦点を当てている。
本研究では,クロスモーダルReIDに特化して設計されたユニバーサル摂動攻撃を提案する。
論文 参考訳（メタデータ） (2024-01-18T15:56:23Z) - Unsupervised Visible-Infrared Person ReID by Collaborative Learning with Neighbor-Guided Label Refinement [53.044703127757295]
教師なし学習 可視赤外人物再識別 (USL-VI-ReID) は、ラベルなしのクロスモダリティデータセットからモダリティ不変の特徴を学習することを目的としている。
本稿では,生成したラベルを1つのモダリティからそれに対応するモダリティに同時に割り当てる,Dual Optimal Transport Label Assignment (DOTLA) フレームワークを提案する。
提案したDOTLA機構は、相互強化と相互モダリティデータアソシエーションの効率的な解を定式化することにより、不十分でノイズの多いラベルアソシエーションの副作用を効果的に低減することができる。
論文 参考訳（メタデータ） (2023-05-22T04:40:30Z) - Diverse Embedding Expansion Network and Low-Light Cross-Modality
Benchmark for Visible-Infrared Person Re-identification [26.71900654115498]
多様な埋め込み拡張ネットワーク(DEEN)と呼ばれる,埋め込み空間における新たな拡張ネットワークを提案する。
提案したDEENは,多種多様な埋め込みを効果的に生成し,情報的特徴表現を学習する。
9RGB/IRカメラでキャプチャされた1,064個の識別された46,767個のバウンディングボックスを含む低照度クロスモダリティ(LLCM)データセットを提供する。
論文 参考訳（メタデータ） (2023-03-25T14:24:56Z) - Learning Feature Recovery Transformer for Occluded Person
Re-identification [71.18476220969647]
本稿では,FRT(Feature Recovery Transformer)と呼ばれる2つの課題を同時に解決する手法を提案する。
特徴マッチング時のノイズの干渉を低減するため,両画像に現れる可視領域に着目し,類似性を計算するための可視グラフを開発した。
2つ目の課題は、グラフの類似性に基づいて、各クエリ画像に対して、ギャラリー内の$k$-nearestの隣人の特徴セットを利用して、完全な特徴を復元するリカバリトランスフォーマを提案することである。
論文 参考訳（メタデータ） (2023-01-05T02:36:16Z) - CycleTrans: Learning Neutral yet Discriminative Features for
Visible-Infrared Person Re-Identification [79.84912525821255]
Visible-infrared person re-identification (VI-ReID) は、可視・赤外線モダリティ間で同一人物をマッチングするタスクである。
既存のVI-ReID手法は主に、特徴識別性を犠牲にして、モダリティを越えて一般的な特徴を学習することに焦点を当てている。
ニュートラルかつ差別的な特徴学習のための新しいサイクル構築型ネットワークであるCycleTransを提案する。
論文 参考訳（メタデータ） (2022-08-21T08:41:40Z) - Towards Homogeneous Modality Learning and Multi-Granularity Information
Exploration for Visible-Infrared Person Re-Identification [16.22986967958162]
Visible-infrared person re-identification (VI-ReID) は、可視・赤外線カメラビューを介して人物画像の集合を検索することを目的とした、困難かつ必須の課題である。
従来の手法では, GAN (Generative Adversarial Network) を用いて, モーダリティ・コンシデント・データを生成する手法が提案されている。
そこで本研究では、視線外デュアルモード学習をグレーグレー単一モード学習問題として再構成する、統一されたダークラインスペクトルであるAligned Grayscale Modality (AGM)を用いて、モード間マッチング問題に対処する。
論文 参考訳（メタデータ） (2022-04-11T03:03:19Z) - On Exploring Pose Estimation as an Auxiliary Learning Task for
Visible-Infrared Person Re-identification [66.58450185833479]
本稿では,Pose Estimationを補助学習タスクとして活用して,エンドツーエンドフレームワークにおけるVI-ReIDタスクを支援する。
これら2つのタスクを相互に有利な方法で共同でトレーニングすることにより、高品質なモダリティ共有とID関連の特徴を学習する。
2つのベンチマークVI-ReIDデータセットの実験結果から,提案手法は一定のマージンで最先端の手法を継続的に改善することが示された。
論文 参考訳（メタデータ） (2022-01-11T09:44:00Z) - Learning by Aligning: Visible-Infrared Person Re-identification using
Cross-Modal Correspondences [42.16002082436691]
VI-reIDの主な課題は、個人画像間のクラス内変動と、可視画像と赤外線画像の相互差である。
我々はこれらの問題に統一的な方法で対処する新しい特徴学習フレームワークを導入する。
論文 参考訳（メタデータ） (2021-08-17T03:38:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。