論文の概要: Semantic-Consistent Bidirectional Contrastive Hashing for Noisy Multi-Label Cross-Modal Retrieval
- arxiv url: http://arxiv.org/abs/2511.07780v1
- Date: Wed, 12 Nov 2025 01:17:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-12 20:17:03.474203
- Title: Semantic-Consistent Bidirectional Contrastive Hashing for Noisy Multi-Label Cross-Modal Retrieval
- Title(参考訳): 雑音の多いマルチラベル・クロスモーダル検索のためのセマンティック・コンスタントな双方向コントラストハッシュ
- Authors: Likang Peng, Chao Su, Wenyuan Wu, Yuan Sun, Dezhong Peng, Xi Peng, Xu Wang,
- Abstract要約: クロスモーダルハッシュ(CMH)は、様々なモダリティを横断する効率的な検索を容易にする。
実世界のシナリオでは、ラベルノイズが一般的であり、検索性能が著しく低下する。
我々はセマンティック・コンスタントな双方向ハッシュ(SCBCH)という新しいフレームワークを提案する。
- 参考スコア(独自算出の注目度): 37.4688414628963
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-modal hashing (CMH) facilitates efficient retrieval across different modalities (e.g., image and text) by encoding data into compact binary representations. While recent methods have achieved remarkable performance, they often rely heavily on fully annotated datasets, which are costly and labor-intensive to obtain. In real-world scenarios, particularly in multi-label datasets, label noise is prevalent and severely degrades retrieval performance. Moreover, existing CMH approaches typically overlook the partial semantic overlaps inherent in multi-label data, limiting their robustness and generalization. To tackle these challenges, we propose a novel framework named Semantic-Consistent Bidirectional Contrastive Hashing (SCBCH). The framework comprises two complementary modules: (1) Cross-modal Semantic-Consistent Classification (CSCC), which leverages cross-modal semantic consistency to estimate sample reliability and reduce the impact of noisy labels; (2) Bidirectional Soft Contrastive Hashing (BSCH), which dynamically generates soft contrastive sample pairs based on multi-label semantic overlap, enabling adaptive contrastive learning between semantically similar and dissimilar samples across modalities. Extensive experiments on four widely-used cross-modal retrieval benchmarks validate the effectiveness and robustness of our method, consistently outperforming state-of-the-art approaches under noisy multi-label conditions.
- Abstract(参考訳): クロスモーダルハッシュ(CMH)は、データをコンパクトなバイナリ表現に符号化することで、様々なモダリティ(例えば画像やテキスト)をまたいだ効率的な検索を容易にする。
最近の手法は目覚ましい性能を達成したが、完全に注釈付けされたデータセットに大きく依存することが多い。
実世界のシナリオ、特にマルチラベルデータセットでは、ラベルノイズが普及し、検索性能が著しく低下する。
さらに、既存のCMHアプローチは、通常、多ラベルデータに固有の部分的な意味的重複を見落とし、その堅牢性と一般化を制限する。
これらの課題に対処するために,セマンティック・コンスタント・双方向コントラスト・ハッシュ (SCBCH) という新しいフレームワークを提案する。
本フレームワークは,(1)クロスモーダルなセマンティック・一貫性分類(CSCC)を用いて,サンプルの信頼性を推定し,ノイズラベルの影響を低減する。(2)マルチラベルのセマンティックオーバーラップに基づいて,ソフトコントラストなサンプルペアを動的に生成する双方向ソフトコントラストハッシュ(BSCH)により,意味論的に類似したサンプルと相似なサンプル間の適応コントラスト学習を実現する。
広範に使用されている4つのクロスモーダル検索ベンチマークによる広範囲な実験により,本手法の有効性とロバスト性を検証し,ノイズの多いマルチラベル条件下での最先端手法を一貫して上回った。
関連論文リスト
- PCSR: Pseudo-label Consistency-Guided Sample Refinement for Noisy Correspondence Learning [17.302186298424836]
クロスモーダル検索は、意味的類似性によって異なるモダリティを整列することを目的としている。
既存の手法では、画像とテキストのペアが完全に整列していると仮定し、実データでノイズ対応を見渡すことが多い。
論文 参考訳(メタデータ) (2025-09-19T05:41:17Z) - SemSim: Revisiting Weak-to-Strong Consistency from a Semantic Similarity Perspective for Semi-supervised Medical Image Segmentation [18.223854197580145]
医用画像分割のための半教師付き学習(SSL)は難しいが、非常に実践的な課題である。
セムシム(SemSim)という名前のFixMatchに基づく新しいフレームワークを提案する。
SemSimは3つの公開セグメンテーションベンチマークで最先端の手法よりも一貫した改善をもたらすことを示す。
論文 参考訳(メタデータ) (2024-10-17T12:31:37Z) - CromSS: Cross-modal pre-training with noisy labels for remote sensing image segmentation [18.276988929148143]
我々は,意味的セグメンテーションモデルを事前学習することで特徴学習を強化するために,大規模雑音ラベル付きデータの可能性を探る。
従来の事前トレーニングアプローチとは異なり、CromSSは大量のノイズと簡単に得られるラベルを活用して、機能学習を改善している。
論文 参考訳(メタデータ) (2024-05-02T11:58:06Z) - A Unified Optimal Transport Framework for Cross-Modal Retrieval with Noisy Labels [22.2715520667186]
クロスモーダル検索(CMR)は、異なるモーダル間の相互作用を確立することを目的としている。
本研究は,ロバスト・クロスモーダル検索のための最適輸送(OT)に基づく統一フレームワークであるUTT-RCLを提案する。
広範に使用されている3つのクロスモーダル検索データセットの実験は、我々のOT-RCLが最先端のアプローチを超越していることを示している。
論文 参考訳(メタデータ) (2024-03-20T10:34:40Z) - Efficient Bilateral Cross-Modality Cluster Matching for Unsupervised Visible-Infrared Person ReID [56.573905143954015]
本稿では, クラスタ間マッチングによるモダリティギャップを低減するための, クラスタマッチングに基づく新たな学習フレームワークを提案する。
このような監視信号の下では、クラスタレベルで特徴を協調的に整列させるために、モダリティ・特定・モダリティ・非依存(MSMA)コントラスト学習フレームワークが提案されている。
公開SYSU-MM01とRegDBデータセットの実験により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2023-05-22T03:27:46Z) - BiCro: Noisy Correspondence Rectification for Multi-modality Data via
Bi-directional Cross-modal Similarity Consistency [66.8685113725007]
BiCroは、ノイズの多いデータペアのソフトラベルを推定して、その真の対応度を反映することを目的としている。
3つの一般的なクロスモーダルマッチングデータセットの実験により、BiCroは様々なマッチングモデルのノイズ・ロバスト性を大幅に改善することを示した。
論文 参考訳(メタデータ) (2023-03-22T09:33:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。