論文の概要: A Unified Optimal Transport Framework for Cross-Modal Retrieval with Noisy Labels

• arxiv url: http://arxiv.org/abs/2403.13480v1
• Date: Wed, 20 Mar 2024 10:34:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 17:18:34.482597
• Title: A Unified Optimal Transport Framework for Cross-Modal Retrieval with Noisy Labels
• Title（参考訳）: 雑音ラベル付きクロスモーダル検索のための統一最適輸送フレームワーク
• Authors: Haochen Han, Minnan Luo, Huan Liu, Fang Nan,
• Abstract要約: クロスモーダル検索(CMR)は、異なるモーダル間の相互作用を確立することを目的としている。 本研究は,ロバスト・クロスモーダル検索のための最適輸送(OT)に基づく統一フレームワークであるUTT-RCLを提案する。 広範に使用されている3つのクロスモーダル検索データセットの実験は、我々のOT-RCLが最先端のアプローチを超越していることを示している。
• 参考スコア（独自算出の注目度）: 22.2715520667186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-modal retrieval (CMR) aims to establish interaction between different modalities, among which supervised CMR is emerging due to its flexibility in learning semantic category discrimination. Despite the remarkable performance of previous supervised CMR methods, much of their success can be attributed to the well-annotated data. However, even for unimodal data, precise annotation is expensive and time-consuming, and it becomes more challenging with the multimodal scenario. In practice, massive multimodal data are collected from the Internet with coarse annotation, which inevitably introduces noisy labels. Training with such misleading labels would bring two key challenges -- enforcing the multimodal samples to \emph{align incorrect semantics} and \emph{widen the heterogeneous gap}, resulting in poor retrieval performance. To tackle these challenges, this work proposes UOT-RCL, a Unified framework based on Optimal Transport (OT) for Robust Cross-modal Retrieval. First, we propose a semantic alignment based on partial OT to progressively correct the noisy labels, where a novel cross-modal consistent cost function is designed to blend different modalities and provide precise transport cost. Second, to narrow the discrepancy in multi-modal data, an OT-based relation alignment is proposed to infer the semantic-level cross-modal matching. Both of these two components leverage the inherent correlation among multi-modal data to facilitate effective cost function. The experiments on three widely-used cross-modal retrieval datasets demonstrate that our UOT-RCL surpasses the state-of-the-art approaches and significantly improves the robustness against noisy labels.
• Abstract（参考訳）: クロスモーダル検索 (CMR) は, セマンティックなカテゴリー識別の柔軟性により, 教師付きCMRが出現している様々なモダリティ間の相互作用を確立することを目的としている。 従来の教師付きCMR法の顕著な性能にもかかわらず、その成功の多くは注釈付きデータによるものである。 しかし、単調なデータであっても、正確なアノテーションは高価で時間を要するため、マルチモーダルシナリオではより困難になる。 実際には、大量のマルチモーダルデータが粗いアノテーションでインターネットから収集され、必然的にノイズの多いラベルが導入される。 このような誤解を招くラベルを用いたトレーニングは、マルチモーダルサンプルを \emph{align incorrect semantics} と \emph{widen the heterogeneous gap} に強制する2つの重要な課題をもたらす。 これらの課題に対処するため,本研究では,ロバストクロスモーダル検索のための最適輸送(OT)に基づく統一フレームワークであるUTT-RCLを提案する。 まず,ノイズラベルを段階的に補正する部分OTに基づくセマンティックアライメントを提案する。そこでは,異なるモダリティをブレンドし,正確な輸送コストを提供するために,新しいクロスモーダル一貫したコスト関数を設計する。 第二に、マルチモーダルデータの差を狭めるために、意味レベルのクロスモーダルマッチングを推測するために、OTに基づく関係アライメントを提案する。 これら2つのコンポーネントは、効率的なコスト関数を促進するために、マルチモーダルデータの固有相関を利用する。 広範に使用されている3つのクロスモーダル検索データセットの実験により、我々のOT-RCLが最先端のアプローチを超越し、ノイズラベルに対するロバスト性を大幅に向上することを示した。

関連論文リスト

• Enhancing Unimodal Latent Representations in Multimodal VAEs through Iterative Amortized Inference [20.761803725098005]
  マルチモーダル変分オートエンコーダ(VAE)は、異なるデータモダリティからの情報を統合することで、共有潜在表現をキャプチャすることを目的としている。 重要な課題は、あらゆる可能なモダリティの組み合わせに対して、非現実的な数の推論ネットワークを訓練することなく、任意のモダリティのサブセットから正確に表現を推論することである。 本稿では,マルチモーダルVAEフレームワーク内での反復的改善機構であるマルチモーダル反復補正推論を導入する。
  論文  参考訳（メタデータ） (2024-10-15T08:49:38Z)
• Multi-Memory Matching for Unsupervised Visible-Infrared Person Re-Identification [30.983346937558743]
  USL-VI-ReIDの主な課題は、擬似ラベルを効果的に生成し、擬似ラベル対応を確立することである。 我々はUSL-VI-ReIDのためのマルチメモリマッチングフレームワークを提案する。 公開SYSU-MM01とRegDBデータセットの実験は、確立された相互モダリティ対応の信頼性を示す。
  論文  参考訳（メタデータ） (2024-01-12T01:24:04Z)
• Unsupervised Visible-Infrared Person ReID by Collaborative Learning with Neighbor-Guided Label Refinement [53.044703127757295]
  教師なし学習 可視赤外人物再識別 (USL-VI-ReID) は、ラベルなしのクロスモダリティデータセットからモダリティ不変の特徴を学習することを目的としている。 本稿では,生成したラベルを1つのモダリティからそれに対応するモダリティに同時に割り当てる,Dual Optimal Transport Label Assignment (DOTLA) フレームワークを提案する。 提案したDOTLA機構は、相互強化と相互モダリティデータアソシエーションの効率的な解を定式化することにより、不十分でノイズの多いラベルアソシエーションの副作用を効果的に低減することができる。
  論文  参考訳（メタデータ） (2023-05-22T04:40:30Z)
• Efficient Bilateral Cross-Modality Cluster Matching for Unsupervised Visible-Infrared Person ReID [56.573905143954015]
  本稿では, クラスタ間マッチングによるモダリティギャップを低減するための, クラスタマッチングに基づく新たな学習フレームワークを提案する。 このような監視信号の下では、クラスタレベルで特徴を協調的に整列させるために、モダリティ・特定・モダリティ・非依存(MSMA)コントラスト学習フレームワークが提案されている。 公開SYSU-MM01とRegDBデータセットの実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-22T03:27:46Z)
• BiCro: Noisy Correspondence Rectification for Multi-modality Data via Bi-directional Cross-modal Similarity Consistency [66.8685113725007]
  BiCroは、ノイズの多いデータペアのソフトラベルを推定して、その真の対応度を反映することを目的としている。 3つの一般的なクロスモーダルマッチングデータセットの実験により、BiCroは様々なマッチングモデルのノイズ・ロバスト性を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2023-03-22T09:33:50Z)
• Align and Attend: Multimodal Summarization with Dual Contrastive Losses [57.83012574678091]
  マルチモーダル要約の目標は、異なるモーダルから最も重要な情報を抽出し、出力要約を形成することである。 既存の手法では、異なるモダリティ間の時間的対応の活用に失敗し、異なるサンプル間の本質的な相関を無視する。 A2Summ(Align and Attend Multimodal Summarization)は、マルチモーダル入力を効果的に整列し、参加できる統一型マルチモーダルトランスフォーマーモデルである。
  論文  参考訳（メタデータ） (2023-03-13T17:01:42Z)
• Efficient Multimodal Transformer with Dual-Level Feature Restoration for Robust Multimodal Sentiment Analysis [47.29528724322795]
  マルチモーダルセンシング分析(MSA)が近年注目を集めている。 著しい進歩にもかかわらず、堅牢なMSAへの道にはまだ2つの大きな課題がある。 デュアルレベル特徴回復 (EMT-DLFR) を用いた高効率マルチモーダル変圧器 (Efficient Multimodal Transformer) を提案する。
  論文  参考訳（メタデータ） (2022-08-16T08:02:30Z)
• Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
  我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。 モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。 提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2021-12-13T08:58:03Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。