論文の概要: Semantic Prior-Guided Incomplete Cross-Modal Retrieval with Noisy Labels
- arxiv url: http://arxiv.org/abs/2611.06113v1
- Date: Wed, 04 Nov 2026 07:58:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.019077
- Title: Semantic Prior-Guided Incomplete Cross-Modal Retrieval with Noisy Labels
- Title（参考訳）: 雑音ラベル付きセマンティック事前誘導不完全なクロスモーダル検索
- Abstract要約: クロスモーダル検索は、共有表現を学習することで、モダリティ間の意味的ギャップを埋めることを目的としている。
SPIRNと呼ばれるノイズラベルを用いた不完全なクロスモーダル検索のための新しいセマンティック事前誘導フレームワークを提案する。
SPIRNは、ロバストな表現学習、ノイズラベル処理、欠落したモダリティ補完のための一貫した参照として、固定されたセマンティックプリエントを使用する。
- 参考スコア（独自算出の注目度）: 34.806526707670066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-modal retrieval (CMR) aims to bridge the semantic gaps between modalities by learning shared representations. Unfortunately, due to the dynamism and inconsistencies in real-world data acquisition, multimodal datasets frequently encounter severe modality incompleteness. Existing incomplete CMR methods adhere to a label-driven paradigm, relying heavily on categorical annotations as the semantic benchmark. However, label noise is difficult to avoid and often coexists with modality incompleteness. To address this challenge, we propose a novel semantic prior-guided framework for incomplete cross-modal retrieval with noisy labels, termed SPIRN. Specifically, SPIRN uses fixed semantic priors as a consistent reference for robust representation learning, noisy-label handling, and missing-modality completion. Based on this reference, Semantic Priors Guidance (SPG) establishes a stable category-level semantic space, Quality-aware Robust Learning (QRL) dynamically evaluates sample quality to distinguish clean samples from noisy ones and handles noise via reverse learning, Prior-guided Global Label Calibration (PGLC) rectifies corrupted annotations for refined supervision, and Confidence-driven Selective Imputation (CSI) recovers missing modalities from a cross-modal memory bank while filtering unreliable imputations with an increasing threshold. To the best of our knowledge, this is the first framework to jointly tackle the dual challenges of modality incompleteness and label noise in the CMR community. Extensive experiments on four widely used benchmark datasets demonstrate that SPIRN outperforms 11 state-of-the-art methods in various scenarios involving both missing modalities and noisy labels.
- Abstract（参考訳）: クロスモーダル検索(CMR)は、共有表現を学習することで、モダリティ間の意味的ギャップを埋めることを目的としている。
残念ながら、実世界のデータ取得におけるダイナミズムと不整合のため、マルチモーダルデータセットは深刻なモダリティの不完全性にしばしば遭遇する。
既存の不完全なCMRメソッドはラベル駆動のパラダイムに準拠しており、セマンティックベンチマークとしてカテゴリアノテーションに大きく依存している。
しかし、ラベルノイズを避けることは困難であり、しばしばモダリティの不完全性と共存する。
この課題に対処するために、SPIRNと呼ばれるノイズラベルを用いた不完全なクロスモーダル検索のための新しいセマンティック事前誘導フレームワークを提案する。
具体的には、SPIRNは、ロバストな表現学習、ノイズラベル処理、モダリティの欠如に対する一貫した参照として、固定的なセマンティックプリエントを使用する。
この基準に基づき、Semantic Priors Guidance (SPG) は安定したカテゴリレベルのセマンティック空間を確立し、Quality-aware Robust Learning (QRL) はサンプル品質を動的に評価し、ノイズとノイズを区別し、逆学習によってノイズを処理する。
我々の知る限りでは、これはCMRコミュニティにおけるモダリティの不完全性とラベルノイズという2つの課題に共同で取り組む最初のフレームワークである。
広く使用されている4つのベンチマークデータセットに対する大規模な実験により、SPIRNは、欠落したモダリティとノイズのあるラベルの両方を含むさまざまなシナリオにおいて、11の最先端メソッドより優れていることが示された。
関連論文リスト
- Test-time Adaptive Hierarchical Co-enhanced Denoising Network for Reliable Multimodal Classification [55.56234913868664]
マルチモーダルデータを用いた信頼性学習のためのTAHCD(Test-time Adaptive Hierarchical Co-enhanced Denoising Network)を提案する。
提案手法は,最先端の信頼性の高いマルチモーダル学習手法と比較して,優れた分類性能,堅牢性,一般化を実現する。
論文 参考訳（メタデータ） (2026-01-12T03:14:12Z) - Semantic-Consistent Bidirectional Contrastive Hashing for Noisy Multi-Label Cross-Modal Retrieval [37.4688414628963]
クロスモーダルハッシュ(CMH)は、様々なモダリティを横断する効率的な検索を容易にする。
実世界のシナリオでは、ラベルノイズが一般的であり、検索性能が著しく低下する。
我々はセマンティック・コンスタントな双方向ハッシュ(SCBCH)という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-11T03:00:27Z) - Semi-Supervised Regression with Heteroscedastic Pseudo-Labels [50.54050677867914]
両レベル最適化の観点から,疑似ラベルの影響を動的に調整する不確実性認識型擬似ラベル化フレームワークを提案する。
我々は、様々なベンチマークSSRデータセットにまたがって、我々のアプローチを検証するための理論的洞察と広範な実験を提供する。
論文 参考訳（メタデータ） (2025-10-17T03:06:23Z) - PCSR: Pseudo-label Consistency-Guided Sample Refinement for Noisy Correspondence Learning [17.302186298424836]
クロスモーダル検索は、意味的類似性によって異なるモダリティを整列することを目的としている。
既存の手法では、画像とテキストのペアが完全に整列していると仮定し、実データでノイズ対応を見渡すことが多い。
論文 参考訳（メタデータ） (2025-09-19T05:41:17Z) - Mitigating Instance-Dependent Label Noise: Integrating Self-Supervised Pretraining with Pseudo-Label Refinement [3.272177633069322]
実世界のデータセットは、アノテーションプロセス中にヒューマンエラー、あいまいさ、リソース制約のために、ノイズの多いラベルを含むことが多い。
そこで本研究では,SimCLRを用いた自己教師型学習と反復的擬似ラベル改良を組み合わせた新しいフレームワークを提案する。
提案手法は,特に高騒音条件下では,いくつかの最先端手法よりも優れる。
論文 参考訳（メタデータ） (2024-12-06T09:56:49Z) - A Unified Optimal Transport Framework for Cross-Modal Retrieval with Noisy Labels [22.2715520667186]
クロスモーダル検索(CMR)は、異なるモーダル間の相互作用を確立することを目的としている。
本研究は,ロバスト・クロスモーダル検索のための最適輸送(OT)に基づく統一フレームワークであるUTT-RCLを提案する。
広範に使用されている3つのクロスモーダル検索データセットの実験は、我々のOT-RCLが最先端のアプローチを超越していることを示している。
論文 参考訳（メタデータ） (2024-03-20T10:34:40Z) - Learning from Noisy Labels with Coarse-to-Fine Sample Credibility
Modeling [22.62790706276081]
ノイズの多いラベルでディープニューラルネットワーク(DNN)を訓練することは事実上難しい。
従来の取り組みでは、統合されたデノナイジングフローで部分データや完全なデータを扱う傾向があります。
本研究では,ノイズの多いデータを分割・分散的に処理するために,CREMAと呼ばれる粗大な頑健な学習手法を提案する。
論文 参考訳（メタデータ） (2022-08-23T02:06:38Z) - S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
本稿では,ラベルノイズの存在下での分類の問題に対処する。
提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。
提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
論文 参考訳（メタデータ） (2021-11-22T15:49:20Z) - Tackling Instance-Dependent Label Noise via a Universal Probabilistic
Model [80.91927573604438]
本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。
合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
論文 参考訳（メタデータ） (2021-01-14T05:43:51Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2020-12-16T04:09:04Z) - Meta Transition Adaptation for Robust Deep Learning with Noisy Labels [61.8970957519509]
本研究では,新しいメタ遷移学習戦略を提案する。
具体的には、クリーンなラベル付きメタデータの小さなセットのサウンドガイダンスにより、ノイズ遷移行列と分類器パラメータを相互に改善することができる。
本手法は, 従来技術よりも頑健な性能で, 遷移行列をより正確に抽出することができる。
論文 参考訳（メタデータ） (2020-06-10T07:27:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。