論文の概要: Learning What to Trust in Multimodal Learning under Noisy Supervision

• arxiv url: http://arxiv.org/abs/2610.11057v1
• Date: Thu, 08 Oct 2026 01:14:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.719499
• Title: Learning What to Trust in Multimodal Learning under Noisy Supervision
• Title（参考訳）: 雑音環境下でのマルチモーダル学習における信頼すべきことの学習
• Abstract要約: マルチモーダル分類プロセスは、より正確な予測を達成するために、複数のモーダルからの情報を関連付ける。 REFINEはマルチモーダルなラベルノイズ検出フレームワークであり、ラベルノイズ検出にフューズ表現とアンモーダル表現を併用する。
• 参考スコア（独自算出の注目度）: 17.480085449292996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal classification processes and relates information from multiple modalities to achieve more accurate predictions. However, existing methods typically rely on high-quality ground-truth labels, which are difficult to obtain in real-world scenarios. While sample-selection methods for learning with noisy labels aim to identify correctly labeled examples from noisy data, traditional methods primarily focus on unimodal settings and fail to exploit multimodal information fully. This motivates us to build a more reliable noise detector in multimodal learning. To this end, we theoretically analyze the relationship between representation structure and noise detection capability. Based on this analysis, we propose REFINE, which is a multimodal label-noise detection framework that jointly uses fused and unimodal representations for label-noise detection. Specifically, REFINE constructs discriminative eigenvectors through discriminative analysis of the target and background classes and selects trusted representation spaces with better noise detection capability for each class. Within each trusted space, REFINE measures the alignment between each instance representation and the discriminative eigenvectors. It then combines the subsets selected from these spaces. The combined set provides cleaner supervision for updating the multimodal classifier, thereby reducing the influence of mislabeled examples during training and improving model generalization. Extensive experiments across diverse tasks demonstrate REFINE's superiority compared to baseline methods. The source code will be publicly available.
• Abstract（参考訳）: マルチモーダル分類は、より正確な予測を達成するために、複数のモーダルからの情報を処理し、関連付ける。 しかし、既存の手法は通常、現実世界のシナリオでは入手が困難である高品質な地下構造ラベルに依存している。 ノイズの多いラベルで学習するサンプル選択手法は、ノイズの多いデータから正しくラベル付けされたサンプルを識別することを目的としているが、従来の手法は、主に非モーダル設定に焦点を当てており、マルチモーダル情報を完全に活用できない。 これは、マルチモーダル学習において、より信頼性の高いノイズ検知器を構築する動機となります。 そこで我々は,表現構造と雑音検出能力の関係を理論的に解析した。 この分析に基づいて,ラベル・ノイズ検出に融合表現と一助表現を併用したマルチモーダルなラベル・ノイズ検出フレームワークREFINEを提案する。 具体的には、ターゲットクラスとバックグラウンドクラスの識別分析によって識別固有ベクトルを構築し、各クラスに対してより優れたノイズ検出機能を持つ信頼表現空間を選択する。 各信頼空間内において、REFINEは各インスタンス表現と識別固有ベクトルのアライメントを測定する。 そして、これらの空間から選択された部分集合を結合する。 この組み合わせセットは、マルチモーダル分類器を更新するためのよりクリーンな監視を提供し、トレーニング中のラベルの誤りの影響を低減し、モデル一般化を改善する。 多様なタスクにわたる大規模な実験は、ベースライン法と比較してREFINEの優位性を示している。 ソースコードは公開されます。

関連論文リスト

• A Gift from the Integration of Discriminative and Diffusion-based Generative Learning: Boundary Refinement Remote Sensing Semantic Segmentation [8.690665954055476]
  本稿では,IDGBRフレームワークにおける識別学習と生成学習の統合を提案する。 フレームワークはまず、識別バックボーンモデルを用いて粗いセグメンテーションマップを生成する。 この地図と原画像とを条件付きガイダンスネットワークに入力し、ガイダンス表現を共同で学習する。
  論文  参考訳（メタデータ） (2025-07-02T10:47:59Z)
• Adaptation Method for Misinformation Identification [8.581136866856255]
  マルチモーダルフェイクニュース検出のためのアクティブドメイン適応(ADA)フレームワークであるADOSEを提案する。 ADOSEは、検出性能を改善するために、ターゲットサンプルの小さなサブセットを積極的に注釈付けする。 ADOSEは既存のADAメソッドを2.72%$sim$ 14.02%で上回り、我々のモデルの優位性を示している。
  論文  参考訳（メタデータ） (2025-04-19T04:18:32Z)
• Robust Multi-View Learning via Representation Fusion of Sample-Level Attention and Alignment of Simulated Perturbation [61.64052577026623]
  実世界のマルチビューデータセットは、しばしば不均一で不完全である。 本稿では,表現融合とアライメントを同時に行う新しいロバストMVL法(RML)を提案する。 我々のRMLは自己教師型であり、正規化として下流のタスクにも適用できます。
  論文  参考訳（メタデータ） (2025-03-06T07:01:08Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• XTrack: Multimodal Training Boosts RGB-X Video Object Trackers [88.72203975896558]
  マルチモーダルセンシングから得られる知識を効果的に共有することが重要である。 異なるモダリティにまたがる類似のサンプルは、他のものよりも多くの知識を共有できる。 提案手法は,現在のSOTAよりも平均+3%精度が向上したRGB-Xトラッカーである。
  論文  参考訳（メタデータ） (2024-05-28T03:00:58Z)
• Trusted Multi-view Learning under Noisy Supervision [20.668620759102115]
  本稿では,ノイズラベルのガイダンスに基づき,信頼度の高い多視点学習モデルを構築する手法を提案する。 TMNRは明らかなディープニューラルネットワークを使用して、信念と不確実性の両方を捉えるビュー固有の意見を構築する。 TMNR2は、エビデンスラベルの整合性を通じて、潜在的に誤ラベルされたサンプルを特定し、近隣の情報から擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2024-04-18T06:47:30Z)
• Preserving Modality Structure Improves Multi-Modal Learning [64.10085674834252]
  大規模マルチモーダルデータセットによる自己教師付き学習は、人間のアノテーションに頼ることなく、意味的に意味のある埋め込みを学ぶことができる。 これらの手法は、モダリティ固有の埋め込みに存在する意味構造を無視して、ドメイン外のデータをうまく一般化するのに苦労することが多い。 共同埋め込み空間におけるモダリティ特異的な関係を保ち, 一般化性を向上させるためのセマンティック・構造保存整合性アプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-24T20:46:48Z)
• Co-Learning Meets Stitch-Up for Noisy Multi-label Visual Recognition [70.00984078351927]
  本稿では,多ラベル分類と長期学習の特徴に基づく雑音の低減に焦点をあてる。 よりクリーンなサンプルを合成し,マルチラベルノイズを直接低減するStitch-Up拡張を提案する。 ヘテロジニアス・コラーニング・フレームワークは、長い尾の分布とバランスの取れた分布の不整合を活用するためにさらに設計されている。
  論文  参考訳（メタデータ） (2023-07-03T09:20:28Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Noise Estimation Using Density Estimation for Self-Supervised Multimodal Learning [10.151012770913624]
  マルチモーダルデータに対するノイズ推定は,マルチモーダル密度推定タスクに還元可能であることを示す。 我々は,我々のノイズ推定を広範に統合し,最先端の性能に匹敵する結果が得られることを実証する。
  論文  参考訳（メタデータ） (2020-03-06T13:25:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。