Fugu-MT 論文翻訳(概要): Enhancing Semi-supervised Learning with Zero-shot Pseudolabels

論文の概要: Enhancing Semi-supervised Learning with Zero-shot Pseudolabels

arxiv url: http://arxiv.org/abs/2502.12584v2
Date: Wed, 28 May 2025 22:49:18 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-30 20:45:56.872615
Title: Enhancing Semi-supervised Learning with Zero-shot Pseudolabels
Title（参考訳）: Zero-shot Pseudolabel を用いた半教師付き学習の強化
Authors: Jichan Chung, Irene Y. Chen,
Abstract要約: データラベリングの高コストは、大規模に機械学習システムをデプロイする上で大きな障壁となる。半教師付き学習(SSL)は、ラベル付きデータとラベル付きサンプルを併用することで、この課題を軽減する。ファンデーションモデル(FM)は、ラベル付けコストをさらに削減できる強力なゼロショット機能を提供する。我々は知識蒸留と一貫性に基づく学習を統合する新しいSSLフレームワークZeroMatchを紹介する。
参考スコア（独自算出の注目度）: 3.1614158472531435
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The high cost of data labeling presents a major barrier to deploying machine learning systems at scale. Semi-supervised learning (SSL) mitigates this challenge by utilizing unlabeled data alongside limited labeled examples, while the emergence of foundation models (FMs) offers powerful zero-shot capabilities that can further reduce labeling cost. However, directly fine-tuning large FMs is often impractical in resource-constrained settings, and na\"ively using their pseudo-labels for unlabeled data can degrade performance due to its unreliablity or domain mismatch with target task. In this work, we introduce ZeroMatch, a novel SSL framework that integrates knowledge distillation with consistency-based learning to jointly leverage labeled data, unlabeled data, and pseudo-labels from FMs. ZeroMatch enables training compact student models using only FM inference, making it suitable for low-resource environments such as personal devices with limited compute. Experiments on six vision and language classification benchmarks show that ZeroMatch consistently outperforms standard SSL and zero-shot augmented methods, demonstrating its effectiveness and robustness across a range of foundation model qualities.
Abstract（参考訳）: データラベリングの高コストは、大規模に機械学習システムをデプロイする上で大きな障壁となる。半教師付き学習(SSL)はラベル付きデータとラベル付きサンプルを併用することでこの課題を軽減し、ファンデーションモデル(FM)の出現はラベル付けコストをさらに削減できる強力なゼロショット機能を提供する。しかし、直接調整された大きなFMはリソース制約のある設定では実用的ではなく、ラベルなしデータに擬似ラベルを積極的に使用することで、ターゲットタスクとのドメインミスマッチや不確実性によってパフォーマンスが低下する可能性がある。本研究では,知識蒸留と一貫性に基づく学習を統合した新しいSSLフレームワークであるZeroMatchを紹介し,ラベル付きデータ,ラベルなしデータ,FMからの擬似ラベルを併用する。 ZeroMatchはFM推論のみを使用してコンパクトな学生モデルのトレーニングを可能にし、計算能力に制限のあるパーソナルデバイスなどの低リソース環境に適合する。 6つのビジョンと言語分類ベンチマークの実験では、ZeroMatchは標準SSLとゼロショット拡張メソッドを一貫して上回り、基礎モデルの品質の範囲でその有効性と堅牢性を示している。

関連論文リスト

Revisiting semi-supervised learning in the era of foundation models [28.414667991336067]
半教師付き学習(SSL)は、ラベル付きデータとともに豊富なラベル付きデータを活用して学習を強化する。我々は,凍結視覚基盤モデル(VFM)が性能的に劣るSSLベンチマークデータセットを開発し,代表的なSSLメソッドを体系的に評価する。ラベル付きデータのみを用いたパラメータ効率細調整(PEFT)は、ラベルなしデータを活用することなく、SSLのパフォーマンスとよく一致します。ノイズの多い擬似ラベルの悪名高い問題を克服するため,より堅牢な擬似ラベルを生成するために,複数のPEFTアプローチとVFMバックボーンのアンサンブルを提案する。
論文参考訳（メタデータ） (2025-03-12T18:01:10Z)
Learning Label Refinement and Threshold Adjustment for Imbalanced Semi-Supervised Learning [6.904448748214652]
半教師付き学習アルゴリズムは、不均衡なトレーニングデータに晒された場合、うまく機能しない。 Validation Data(SEVAL)に基づく擬似ラベル最適化によるセミ教師あり学習について紹介する。 SEVALは、擬似ラベルの精度を改善して特定のタスクに適応し、クラスごとに擬似ラベルの正確性を保証する。
論文参考訳（メタデータ） (2024-07-07T13:46:22Z)
A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。 Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
論文参考訳（メタデータ） (2024-03-27T09:49:37Z)
Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文参考訳（メタデータ） (2023-12-13T09:32:50Z)
CroSSL: Cross-modal Self-Supervised Learning for Time-series through Latent Masking [11.616031590118014]
CroSSLは、欠落したモダリティとエンドツーエンドのクロスモーダル学習を扱うことができる。動作センサを含む幅広いデータを用いて本手法の評価を行った。
論文参考訳（メタデータ） (2023-07-31T17:10:10Z)
Active Semi-Supervised Learning by Exploring Per-Sample Uncertainty and Consistency [30.94964727745347]
そこで我々は,ASSL(Active Semi-supervised Learning)と呼ばれる手法を提案し,低コストでモデルの精度を向上させる。 ASSLには、ラベルなしデータの使用により、アクティブラーニング(AL)よりもダイナミックなモデル更新が含まれている。 ASSLは同じ性能を保ちながら、半教師あり学習(SSL)の約5.3倍の計算効率を達成した。
論文参考訳（メタデータ） (2023-03-15T22:58:23Z)
Complementing Semi-Supervised Learning with Uncertainty Quantification [6.612035830987296]
そこで本研究では,アレータ性およびてんかん性不確実性定量化に依存する,教師なし不確実性認識の新たな目的を提案する。 CIFAR-100やMini-ImageNetのような複雑なデータセットでは,結果が最先端の成果よりも優れています。
論文参考訳（メタデータ） (2022-07-22T00:15:02Z)
Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of Semi-Supervised Learning and Active Learning [60.26659373318915]
アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。 2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
論文参考訳（メタデータ） (2022-06-07T13:28:43Z)
Pseudo-Labeled Auto-Curriculum Learning for Semi-Supervised Keypoint Localization [88.74813798138466]
オブジェクトのキーポイントのローカライズは、基本的な視覚的問題である。キーポイントローカライゼーションネットワークの教師付き学習は、しばしば大量のデータを必要とする。本稿では,一連の動的しきい値を持つ信頼度の高い擬似ラベルサンプルを自動的に選択する。
論文参考訳（メタデータ） (2022-01-21T09:51:58Z)
Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
データセット不均衡下での自己教師型学習について検討する。既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
論文参考訳（メタデータ） (2021-10-11T06:29:56Z)
In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
論文参考訳（メタデータ） (2021-01-15T23:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。