論文の概要: Graph-Based Cross-Domain Knowledge Distillation for Cross-Dataset Text-to-Image Person Retrieval

• arxiv url: http://arxiv.org/abs/2501.15052v1
• Date: Sat, 25 Jan 2025 03:24:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:58:06.359975
• Title: Graph-Based Cross-Domain Knowledge Distillation for Cross-Dataset Text-to-Image Person Retrieval
• Title（参考訳）: クロスデータセットテキスト-画像人物検索のためのグラフベースクロスドメイン知識蒸留法
• Authors: Bingjun Luo, Jinpeng Wang, Wang Zewen, Junjie Zhu, Xibin Zhao,
• Abstract要約: ビデオ監視システムは、スマートシティにおける公共の安全と管理を確保するための重要な要素である。 テキスト・トゥ・イメージ・パーソン検索は、与えられたテキスト記述に最もよくマッチする画像ギャラリーから対象人物を検索することを目的としている。 既存のテキスト・画像人物検索手法の多くは、対象領域に十分なラベル付きデータを必要とする教師付き方法で訓練されている。
• 参考スコア（独自算出の注目度）: 25.760438764541867
• License:
• Abstract: Video surveillance systems are crucial components for ensuring public safety and management in smart city. As a fundamental task in video surveillance, text-to-image person retrieval aims to retrieve the target person from an image gallery that best matches the given text description. Most existing text-to-image person retrieval methods are trained in a supervised manner that requires sufficient labeled data in the target domain. However, it is common in practice that only unlabeled data is available in the target domain due to the difficulty and cost of data annotation, which limits the generalization of existing methods in practical application scenarios. To address this issue, we propose a novel unsupervised domain adaptation method, termed Graph-Based Cross-Domain Knowledge Distillation (GCKD), to learn the cross-modal feature representation for text-to-image person retrieval in a cross-dataset scenario. The proposed GCKD method consists of two main components. Firstly, a graph-based multi-modal propagation module is designed to bridge the cross-domain correlation among the visual and textual samples. Secondly, a contrastive momentum knowledge distillation module is proposed to learn the cross-modal feature representation using the online knowledge distillation strategy. By jointly optimizing the two modules, the proposed method is able to achieve efficient performance for cross-dataset text-to-image person retrieval. acExtensive experiments on three publicly available text-to-image person retrieval datasets demonstrate the effectiveness of the proposed GCKD method, which consistently outperforms the state-of-the-art baselines.
• Abstract（参考訳）: ビデオ監視システムは、スマートシティにおける公共の安全と管理を確保するための重要な要素である。 ビデオ監視の基本的な課題として、テキスト・ツー・イメージの人物検索は、与えられたテキスト記述に最もよくマッチする画像ギャラリーから対象人物を検索することを目的としている。 既存のテキスト・画像人物検索手法の多くは、対象領域に十分なラベル付きデータを必要とする教師付き方法で訓練されている。 しかし、実際のアプリケーションシナリオにおける既存のメソッドの一般化を制限するデータアノテーションの難しさとコストのため、未ラベルのデータのみがターゲットドメインで利用可能であることは、実際には一般的である。 そこで本研究では,グラフベースクロスドメイン知識蒸留(GCKD)と呼ばれる,教師なし領域適応手法を提案する。 GCKD法は2つの主成分からなる。 まず、グラフベースのマルチモーダル伝搬モジュールは、視覚的およびテキスト的サンプル間のクロスドメイン相関をブリッジするように設計されている。 次に, オンライン知識蒸留戦略を用いて, クロスモーダルな特徴表現を学習するために, コントラッシブ・モーメント・ナレッジ蒸留モジュールを提案する。 2つのモジュールを協調的に最適化することにより、提案手法は、クロスデータセットテキスト・画像人物検索の効率的な性能を実現することができる。 Ac Extensive experiment on three public available text-to-image person search datas showed the effect of the proposed GCKD method which is consistforms the state-of-the-art baselines。

関連論文リスト

• Revolutionizing Text-to-Image Retrieval as Autoregressive Token-to-Voken Generation [90.71613903956451]
  テキスト・ツー・イメージ検索はマルチメディア処理における基本的な課題である。 本稿では,AVGという自己回帰ボウケン生成手法を提案する。 AVGは有効性と有効性の両方において優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-07-24T13:39:51Z)
• AddressCLIP: Empowering Vision-Language Models for City-wide Image Address Localization [57.34659640776723]
  そこで我々は,より意味論的に問題を解決するために,AddressCLIPというエンドツーエンドのフレームワークを提案する。 われわれはピッツバーグとサンフランシスコに3つのデータセットを構築した。
  論文  参考訳（メタデータ） (2024-07-11T03:18:53Z)
• A Multimodal Approach for Cross-Domain Image Retrieval [5.5547914920738]
  クロスドメイン画像検索(Cross-Domain Image Retrieval, CDIR)は、コンピュータビジョンにおける課題である。 本稿では、事前学習された視覚言語モデルを活用することで、テキストコンテキストを取り入れた新しい教師なしのCDIRアプローチを提案する。 提案手法は,画像キャプションをドメインに依存しない中間表現として用いる。
  論文  参考訳（メタデータ） (2024-03-22T12:08:16Z)
• Training-free Zero-shot Composed Image Retrieval with Local Concept Reranking [34.31345844296072]
  合成画像検索は、参照画像と対応する修正テキストの合成クエリを通して、ギャラリー画像から興味のある画像を検索しようとする。 現在の構成画像検索手法の多くは、参照画像、修正テキスト、対応するターゲット画像からなるコストのかかる3重化データセットのトレーニングに対する教師付き学習アプローチに従っている。 そこで本研究では,学習不要なゼロショット合成画像検索手法を提案する。
  論文  参考訳（メタデータ） (2023-12-14T13:31:01Z)
• Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
  人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。 本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。 ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
  論文  参考訳（メタデータ） (2023-08-04T10:28:48Z)
• Efficient Token-Guided Image-Text Retrieval with Consistent Multimodal Contrastive Training [33.78990448307792]
  画像テキスト検索は、視覚と言語間の意味的関係を理解するための中心的な問題である。 以前の作品では、全体像とテキストの粗い粒度の表現を単に学習するか、画像領域またはピクセルとテキストワードの対応を精巧に確立する。 本研究では、粗い表現学習ときめ細かい表現学習を統一した枠組みに組み合わせて、新しい視点から画像テキストの検索を行う。
  論文  参考訳（メタデータ） (2023-06-15T00:19:13Z)
• Semi-Supervised Image Captioning by Adversarially Propagating Labeled Data [95.0476489266988]
  本稿では、画像キャプションモデルの一般化を改善するための、新しいデータ効率半教師付きフレームワークを提案する。 提案手法は,キャプタにペアデータから学習し,段階的に未ペアデータの関連付けを行うよう訓練する。 1)画像ベースと(2)高密度領域ベースキャプションデータセットの両方を総合的かつ包括的な実験結果とし,それに続いて,少ないペアリングデータセットの包括的分析を行った。
  論文  参考訳（メタデータ） (2023-01-26T15:25:43Z)
• Learning Co-segmentation by Segment Swapping for Retrieval and Discovery [67.6609943904996]
  この研究の目的は、一対のイメージから視覚的に類似したパターンを効率的に識別することである。 画像中のオブジェクトセグメントを選択し、それを別の画像にコピーペーストすることで、合成トレーニングペアを生成する。 提案手法は,Brueghelデータセット上でのアートワークの詳細検索に対して,明確な改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-10-29T16:51:16Z)
• Text-Based Person Search with Limited Data [66.26504077270356]
  テキストベースの人物検索(TBPS)は、画像ギャラリーから対象人物を記述的なテキストクエリで検索することを目的としている。 限られたデータによってもたらされる問題に対処する2つの新しいコンポーネントを持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-20T22:20:47Z)
• Text-based Person Search in Full Images via Semantic-Driven Proposal Generation [42.25611020956918]
  本稿では,歩行者検出,識別,視覚意味的特徴埋め込みタスクを協調的に最適化するエンドツーエンド学習フレームワークを提案する。 クエリテキストを最大限に活用するために、セマンティック機能を活用して、リージョン提案ネットワークにテキスト記述された提案にもっと注意を払うように指示する。
  論文  参考訳（メタデータ） (2021-09-27T11:42:40Z)
• RTIC: Residual Learning for Text and Image Composition using Graph Convolutional Network [19.017377597937617]
  画像検索のための画像とテキストの構成学習について検討する。 本稿では,グラフ畳み込みネットワーク(gcn)と既存の合成手法を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-04-07T09:41:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。