Fugu-MT 論文翻訳(概要): Pre-trained Vision-Language Models Assisted Noisy Partial Label Learning

論文の概要: Pre-trained Vision-Language Models Assisted Noisy Partial Label Learning

arxiv url: http://arxiv.org/abs/2506.03229v1
Date: Tue, 03 Jun 2025 12:48:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-05 21:20:13.964434
Title: Pre-trained Vision-Language Models Assisted Noisy Partial Label Learning
Title（参考訳）: ノイズのある部分的ラベル学習を支援する事前学習型視覚言語モデル
Authors: Qian-Wei Wang, Yuqiu Xie, Letian Zhang, Zimo Liu, Shu-Tao Xia,
Abstract要約: 本稿では、事前学習された視覚言語モデル(VLM)で注釈付けされた雑音のある部分ラベルからの学習に焦点を当てる。本稿では,事前学習したモデルから発生する雑音に対処するために,革新的な協調整合正則化(Co-Reg)手法を提案する。提案手法は,手動でアノテートされた有効なラベルを使用すれば,その性能をさらに向上させることができる。
参考スコア（独自算出の注目度）: 40.89255396643592
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In the context of noisy partial label learning (NPLL), each training sample is associated with a set of candidate labels annotated by multiple noisy annotators. With the emergence of high-performance pre-trained vision-language models (VLMs) such as CLIP, LLaVa and GPT-4V, the direction of using these models to replace time-consuming manual annotation workflows and achieve "manual-annotation-free" training for downstream tasks has become a highly promising research avenue. This paper focuses on learning from noisy partial labels annotated by pre-trained VLMs and proposes an innovative collaborative consistency regularization (Co-Reg) method. Unlike the symmetric noise primarily addressed in traditional noisy label learning, the noise generated by pre-trained models is instance-dependent, embodying the underlying patterns of the pre-trained models themselves, which significantly increases the learning difficulty for the model. To address this, we simultaneously train two neural networks that implement collaborative purification of training labels through a "Co-Pseudo-Labeling" mechanism, while enforcing consistency regularization constraints in both the label space and feature representation space. Our method can also leverage few-shot manually annotated valid labels to further enhance its performances. Comparative experiments with different denoising and disambiguation algorithms, annotation manners, and pre-trained model application schemes fully validate the effectiveness of the proposed method, while revealing the broad prospects of integrating weakly-supervised learning techniques into the knowledge distillation process of pre-trained models.
Abstract（参考訳）: 雑音部分ラベル学習(NPLL)の文脈では、各トレーニングサンプルは、複数のノイズアノテータによって注釈付けされた候補ラベルのセットに関連付けられている。 CLIP、LLaVa、GPT-4Vのような高性能な事前学習型視覚言語モデル(VLM)の出現に伴い、これらのモデルを用いて、時間を要する手動のワークフローを置き換え、下流タスクのための「手動アノテーションなし」のトレーニングを実現する方向は、非常に有望な研究の道のりとなっている。本稿では,事前学習したVLMでアノテートされたノイズのある部分ラベルから学習することに着目し,Co-Reg法を提案する。従来のノイズラベル学習において主に対処される対称ノイズとは異なり、事前学習されたモデルが生成するノイズはインスタンス依存であり、事前学習されたモデル自体の基盤となるパターンを具現化することで、モデルの学習困難を著しく増大させる。そこで我々は,ラベル空間と特徴表現空間の整合性正規化制約を強制しつつ,"Co-Pseudo-Labeling"機構を通じてラベルの協調的浄化を実装する2つのニューラルネットワークを同時に訓練する。また,手動でアノテートしたアノテートラベルを利用すれば,その性能をさらに向上させることができる。提案手法の有効性を十分に検証するとともに,事前学習モデルの知識蒸留プロセスに弱教師付き学習技術を組み込むことの幅広い可能性を明らかにするとともに,異なる識別・曖昧化アルゴリズム,アノテーション方式,事前学習モデル適用方式の比較実験を行った。

関連論文リスト

Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
論文参考訳（メタデータ） (2024-06-20T18:35:47Z)
Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
論文参考訳（メタデータ） (2024-05-23T17:17:27Z)
Asymmetric Co-teaching with Multi-view Consensus for Noisy Label Learning [15.690502285538411]
Asymmetric Co-Teaching (AsyCo) というノイズラベル学習手法を導入する。 AsyCoは、共学モデルのより一貫性のある分岐結果を生成する。合成および実世界のノイズラベルデータセットの実験は、AsyCoが現在のSOTA法よりも改善していることを示している。
論文参考訳（メタデータ） (2023-01-01T04:10:03Z)
Context-based Virtual Adversarial Training for Text Classification with Noisy Labels [1.9508698179748525]
本研究では,テキスト分類器が雑音ラベルに過度に収まらないよう,コンテキストベースの仮想対位訓練(ConVAT)を提案する。従来の手法とは異なり,提案手法は入力よりも文脈レベルで逆学習を行う。 2種類のラベルノイズを持つ4つのテキスト分類データセットについて広範な実験を行った。
論文参考訳（メタデータ） (2022-05-29T14:19:49Z)
Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
論文参考訳（メタデータ） (2022-02-04T15:46:27Z)
Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
論文参考訳（メタデータ） (2021-09-24T07:20:13Z)
Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
論文参考訳（メタデータ） (2021-09-10T17:19:56Z)
Noisy Concurrent Training for Efficient Learning under Label Noise [13.041607703862724]
ディープニューラルネットワーク(DNN)はラベルノイズの下で効果的に学習することができず、その性能に影響を与えるランダムなラベルを記憶することが示されている。我々は,単独で学習すること,ワンホット符号化ラベルを唯一の監督源として使用すること,および標準訓練手順の主な欠点として記憶を阻害するための正規化の欠如を考察する。協調学習を活用して2つのモデル間のコンセンサスを新たな監督源として活用するノイズコンカレントトレーニング(NCT)を提案する。
論文参考訳（メタデータ） (2020-09-17T14:22:17Z)
Noisy Self-Knowledge Distillation for Text Summarization [83.49809205891496]
我々は, テキスト要約に自己知識蒸留を適用し, 最大習熟時の問題を緩和できると考えている。学生要約モデルは,学習の正規化を支援するスムーズなラベルを生成する教師の指導によって訓練される。筆者らは,3つのベンチマークを用いて,事前学習と非事前学習の両方のパフォーマンス向上を実証した。
論文参考訳（メタデータ） (2020-09-15T12:53:09Z)
Early-Learning Regularization Prevents Memorization of Noisy Labels [29.04549895470588]
本稿では,ノイズの多いアノテーションの存在下で,ディープラーニングによる分類を行うための新しいフレームワークを提案する。深層ニューラルネットワークは、"早期学習"フェーズにおいて、トレーニングデータをクリーンなラベルに適合させることが観察されている。我々は、これらの目標に向けてモデルを操る正規化用語を設計し、偽ラベルの記憶を暗黙的に防止する。
論文参考訳（メタデータ） (2020-06-30T23:46:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。