論文の概要: AMNS: Attention-Weighted Selective Mask and Noise Label Suppression for Text-to-Image Person Retrieval

• arxiv url: http://arxiv.org/abs/2409.06385v3
• Date: Sat, 08 Feb 2025 03:45:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:25:27.182348
• Title: AMNS: Attention-Weighted Selective Mask and Noise Label Suppression for Text-to-Image Person Retrieval
• Title（参考訳）: AMNS:テキスト・画像検索のための注意重み付き選択マスクとノイズラベル抑圧
• Authors: Runqing Zhang, Xue Zhou,
• Abstract要約: ノイズ対応(NC)問題は画像品質の低下とラベルの誤りによる。 ランダムマスキングの強化は、必然的に重要なセマンティックコンテンツを捨てる可能性がある。 双方向類似分布マッチング(BSDM)損失は、正のペアから効果的に学習することを可能にする。 重み調整焦点(WAF)の損失により、モデルのハードサンプル処理能力が向上する。
• 参考スコア（独自算出の注目度）: 3.591122855617648
• License:
• Abstract: Most existing text-to-image person retrieval methods usually assume that the training image-text pairs are perfectly aligned; however, the noisy correspondence(NC) issue (i.e., incorrect or unreliable alignment) exists due to poor image quality and labeling errors. Additionally, random masking augmentation may inadvertently discard critical semantic content, introducing noisy matches between images and text descriptions. To address the above two challenges, we propose a noise label suppression method to mitigate NC and an Attention-Weighted Selective Mask (AWM) strategy to resolve the issues caused by random masking. Specifically, the Bidirectional Similarity Distribution Matching (BSDM) loss enables the model to effectively learn from positive pairs while preventing it from over-relying on them, thereby mitigating the risk of overfitting to noisy labels. In conjunction with this, Weight Adjustment Focal (WAF) loss improves the model's ability to handle hard samples. Furthermore, AWM processes raw images through an EMA version of the image encoder, selectively retaining tokens with strong semantic connections to the text, enabling better feature extraction. Extensive experiments demonstrate the effectiveness of our approach in addressing noise-related issues and improving retrieval performance.
• Abstract（参考訳）: 既存のテキストと画像の人物の検索方法の多くは、トレーニング画像とテキストのペアが完全に一致していると仮定するが、ノイズ対応(NC)問題(すなわち、誤りまたは信頼性の低いアライメント)は、画像の品質やラベルの誤りによって存在する。 さらに、ランダムなマスキングの強化は必然的に重要なセマンティックコンテンツを破棄し、画像とテキスト記述間のノイズの多いマッチングを導入する。 上記の2つの課題に対処するために,NCとAWM戦略を緩和するノイズラベル抑制手法を提案する。 具体的には、二方向類似性分布マッチング(BSDM)の損失により、モデルが正のペアから効果的に学習し、過度なラベルへの過度な適合のリスクを軽減できる。 これと合わせて、WAF(Weight Adjustment Focal)の損失により、モデルのハードサンプル処理能力が向上する。 さらに、AWMは、画像エンコーダのEMAバージョンを介して生画像を処理し、テキストに強い意味的接続を持つトークンを選択的に保持し、より良い特徴抽出を可能にする。 広汎な実験により,ノイズ関連問題に対処し,検索性能を向上させるためのアプローチの有効性が示された。

関連論文リスト

• Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
  セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。 MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。 我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-10-29T03:49:40Z)
• A Robust Multisource Remote Sensing Image Matching Method Utilizing Attention and Feature Enhancement Against Noise Interference [15.591520484047914]
  本稿では,ノイズ干渉に対する注意と特徴強調を利用した,頑健なマルチソースリモートセンシング画像マッチング手法を提案する。 第1段階では、深い畳み込みと変圧器の注意機構を組み合わせることで、密集した特徴抽出を行う。 第2段階では、二項分類機構に基づく外乱除去ネットワークを導入する。
  論文  参考訳（メタデータ） (2024-10-01T03:35:34Z)
• SyncMask: Synchronized Attentional Masking for Fashion-centric Vision-Language Pretraining [2.9010546489056415]
  視覚言語モデル (VLM) は、ペア化されたデータセットを通して、モーダル間理解において大きな進歩を遂げた。 ファッション領域では、データセットは画像とテキストで伝達される情報の間に相違を示すことが多い。 我々は、画像パッチと単語トークンをピンポイントするマスクを生成するシンクロナイズドアテンショナルマスキング(SyncMask)を提案する。
  論文  参考訳（メタデータ） (2024-04-01T15:01:38Z)
• Open-Vocabulary Segmentation with Unpaired Mask-Text Supervision [87.15580604023555]
  Unpair-Segは、弱制御されたオープン語彙セグメンテーションフレームワークである。 未ペア画像マスクと画像テキストペアから学習し、独立して効率的に収集することができる。 ADE-847とPASCAL Context-459データセットで14.6%と19.5%のmIoUを達成した。
  論文  参考訳（メタデータ） (2024-02-14T06:01:44Z)
• MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask [84.84034179136458]
  テキスト・イメージのミスマッチ問題に繋がる重要な要因は、モダリティ間の関係学習の不十分さである。 本稿では,注目マップと迅速な埋め込みを条件とした適応マスクを提案し,画像特徴に対する各テキストトークンの寄与度を動的に調整する。 この手法はMaskDiffusionと呼ばれ、トレーニング不要で、一般的な事前学習拡散モデルに対してホットプラグ可能である。
  論文  参考訳（メタデータ） (2023-09-08T15:53:37Z)
• Improving Adversarial Robustness of Masked Autoencoders via Test-time Frequency-domain Prompting [133.55037976429088]
  BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。 意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。 我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-08-20T16:27:17Z)
• NLIP: Noise-robust Language-Image Pre-training [95.13287735264937]
  雑音調和と雑音補完という2つの手法を用いて事前学習の安定化を図るため,NLIPの原理的手法を提案する。 我々のNLIPは、画像テキスト事前学習における一般的なノイズ効果をより効率的に軽減することができる。
  論文  参考訳（メタデータ） (2022-12-14T08:19:30Z)
• Embedding contrastive unsupervised features to cluster in- and out-of-distribution noise in corrupted image datasets [18.19216557948184]
  Web画像検索に検索エンジンを使用することは、イメージデータセットを作成する際の手作業によるキュレーションに代わる誘惑的な手段である。 主な欠点は、回収された間違った(ノイズの多い)サンプルの割合である。 本稿では,教師なしのコントラスト特徴学習を用いた検出ステップから始める2段階のアルゴリズムを提案する。 比較学習のアライメントと均一性原理により,OODサンプルは単位超球面上のIDサンプルから線形に分離できることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T16:51:56Z)
• Adaptive Shrink-Mask for Text Detection [91.34459257409104]
  既存のリアルタイムテキスト検出器は、ストリップマスクによってテキストの輪郭を直接再構築する。 予測された収縮マスクへの依存は不安定な検出結果をもたらす。 スーパーピクセルウィンドウ (SPW) はネットワークを監督するように設計されている。
  論文  参考訳（メタデータ） (2021-11-18T07:38:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。