論文の概要: AMNS: Attention-Weighted Selective Mask and Noise Label Suppression for Text-to-Image Person Retrieval
- arxiv url: http://arxiv.org/abs/2409.06385v1
- Date: Tue, 10 Sep 2024 10:08:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 18:10:00.494810
- Title: AMNS: Attention-Weighted Selective Mask and Noise Label Suppression for Text-to-Image Person Retrieval
- Title（参考訳）: AMNS:テキスト・画像検索のための注意重み付き選択マスクとノイズラベル抑圧
- Authors: Runqing Zhang, Xue Zhou,
- Abstract要約: 画像品質の低下と誤ラベルのため、画像テキストペアに相関性や偽相関性の問題が発生する。
本稿では,新しいノイズラベル抑制手法を提案し,ランダムマスクによって生じる問題を緩和する。
- 参考スコア（独自算出の注目度）: 3.591122855617648
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-image person retrieval aims to retrieve images of person given textual descriptions, and most methods implicitly assume that the training image-text pairs are correctly aligned, but in practice, under-correlated and false-correlated problems arise for image-text pairs due to poor image quality and mislabeling. Meanwhile, the random masking augmentation strategy may incorrectly discard semantic content resulting in the problem of generating noisy pairings between image lexical elements and text descriptions. To solve these two problems, we propose a new noise label suppression method and alleviate the problem generated by random mask through an attention-weighted selective mask strategy. In the proposed noise label suppression method, the effect of noise labels is suppressed by preventing the model from being overconfident by considering the inverse KL scatter loss, which is combined with the weight adjustment focus loss to further improve the model's recognition ability on difficult samples. On the other hand, Attention-Weighted Selective Mask processes the raw image through the EMA version of the image encoder, retaining some of the tokens with strong semantic associations with the corresponding text descriptions in order to extract better features. Numerous experiments validate the effectiveness of our approach in terms of dealing with noisy problems. The code will be available soon at https://github.com/RunQing715/AMNS.git.
- Abstract（参考訳）: テキスト・トゥ・イメージ・パーソン検索は、与えられたテキスト記述を検索することを目的としており、ほとんどの手法では、トレーニング用画像・テキストペアが正しく一致していると暗黙的に仮定するが、実際には、画像品質と誤ラベルが原因で、画像・テキストペアに対して非相関性および偽相関性の問題が発生する。
一方、ランダムマスキング強化戦略は、画像の語彙要素とテキスト記述との間のノイズの多いペアリングを発生させる問題となる意味的コンテンツを誤って破棄する可能性がある。
これら2つの問題を解決するため、注意重み付き選択マスク戦略により、ランダムマスクが生み出す問題を緩和する新しいノイズラベル抑制手法を提案する。
ノイズラベル抑制法では、逆KL散乱損失と重み調整焦点損失を組み合わせた逆KL散乱損失を考慮してモデルが過信されることを防止し、より難しいサンプルに対するモデルの認識能力を向上することにより、ノイズラベルの効果を抑制する。
一方、Attention-Weighted Selective Maskは、画像エンコーダのEMAバージョンを介して生画像を処理する。
多くの実験でノイズ問題に対処する手法の有効性が検証されている。
コードは近々https://github.com/RunQing715/AMNS.git.comで公開される。
関連論文リスト
- Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。
MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。
我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
論文 参考訳（メタデータ） (2024-10-29T03:49:40Z) - A Robust Multisource Remote Sensing Image Matching Method Utilizing Attention and Feature Enhancement Against Noise Interference [15.591520484047914]
本稿では,ノイズ干渉に対する注意と特徴強調を利用した,頑健なマルチソースリモートセンシング画像マッチング手法を提案する。
第1段階では、深い畳み込みと変圧器の注意機構を組み合わせることで、密集した特徴抽出を行う。
第2段階では、二項分類機構に基づく外乱除去ネットワークを導入する。
論文 参考訳（メタデータ） (2024-10-01T03:35:34Z) - SyncMask: Synchronized Attentional Masking for Fashion-centric Vision-Language Pretraining [2.9010546489056415]
視覚言語モデル (VLM) は、ペア化されたデータセットを通して、モーダル間理解において大きな進歩を遂げた。
ファッション領域では、データセットは画像とテキストで伝達される情報の間に相違を示すことが多い。
我々は、画像パッチと単語トークンをピンポイントするマスクを生成するシンクロナイズドアテンショナルマスキング(SyncMask)を提案する。
論文 参考訳（メタデータ） (2024-04-01T15:01:38Z) - Open-Vocabulary Segmentation with Unpaired Mask-Text Supervision [87.15580604023555]
Unpair-Segは、弱制御されたオープン語彙セグメンテーションフレームワークである。
未ペア画像マスクと画像テキストペアから学習し、独立して効率的に収集することができる。
ADE-847とPASCAL Context-459データセットで14.6%と19.5%のmIoUを達成した。
論文 参考訳（メタデータ） (2024-02-14T06:01:44Z) - MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask [84.84034179136458]
テキスト・イメージのミスマッチ問題に繋がる重要な要因は、モダリティ間の関係学習の不十分さである。
本稿では,注目マップと迅速な埋め込みを条件とした適応マスクを提案し,画像特徴に対する各テキストトークンの寄与度を動的に調整する。
この手法はMaskDiffusionと呼ばれ、トレーニング不要で、一般的な事前学習拡散モデルに対してホットプラグ可能である。
論文 参考訳（メタデータ） (2023-09-08T15:53:37Z) - Improving Adversarial Robustness of Masked Autoencoders via Test-time
Frequency-domain Prompting [133.55037976429088]
BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。
意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。
我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
論文 参考訳（メタデータ） (2023-08-20T16:27:17Z) - NLIP: Noise-robust Language-Image Pre-training [95.13287735264937]
雑音調和と雑音補完という2つの手法を用いて事前学習の安定化を図るため,NLIPの原理的手法を提案する。
我々のNLIPは、画像テキスト事前学習における一般的なノイズ効果をより効率的に軽減することができる。
論文 参考訳（メタデータ） (2022-12-14T08:19:30Z) - Embedding contrastive unsupervised features to cluster in- and
out-of-distribution noise in corrupted image datasets [18.19216557948184]
Web画像検索に検索エンジンを使用することは、イメージデータセットを作成する際の手作業によるキュレーションに代わる誘惑的な手段である。
主な欠点は、回収された間違った(ノイズの多い)サンプルの割合である。
本稿では,教師なしのコントラスト特徴学習を用いた検出ステップから始める2段階のアルゴリズムを提案する。
比較学習のアライメントと均一性原理により,OODサンプルは単位超球面上のIDサンプルから線形に分離できることがわかった。
論文 参考訳（メタデータ） (2022-07-04T16:51:56Z) - Adaptive Shrink-Mask for Text Detection [91.34459257409104]
既存のリアルタイムテキスト検出器は、ストリップマスクによってテキストの輪郭を直接再構築する。
予測された収縮マスクへの依存は不安定な検出結果をもたらす。
スーパーピクセルウィンドウ (SPW) はネットワークを監督するように設計されている。
論文 参考訳（メタデータ） (2021-11-18T07:38:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。