論文の概要: Prediction-Powered Semi-Supervised Learning with Online Power Tuning
- arxiv url: http://arxiv.org/abs/2510.22586v1
- Date: Sun, 26 Oct 2025 09:01:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 19:54:32.540829
- Title: Prediction-Powered Semi-Supervised Learning with Online Power Tuning
- Title(参考訳): オンライン・パワーチューニングによる予測型半教師付き学習
- Authors: Noa Shoham, Ron Dorfman, Shalev Shaer, Kfir Y. Levy, Yaniv Romano,
- Abstract要約: 予測パワー推論(英: Prediction-Powered Inference, PPI)は、最近提案されたパラメータ推定のための統計的推論手法である。
本研究は、モデルトレーニングのための半教師付き学習(SSL)にコアアイデアを拡張し、新しい非バイアス勾配推定器を導入する。
- 参考スコア(独自算出の注目度): 25.176649368039477
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prediction-Powered Inference (PPI) is a recently proposed statistical inference technique for parameter estimation that leverages pseudo-labels on both labeled and unlabeled data to construct an unbiased, low-variance estimator. In this work, we extend its core idea to semi-supervised learning (SSL) for model training, introducing a novel unbiased gradient estimator. This extension addresses a key challenge in SSL: while unlabeled data can improve model performance, its benefit heavily depends on the quality of pseudo-labels. Inaccurate pseudo-labels can introduce bias, leading to suboptimal models.To balance the contributions of labeled and pseudo-labeled data, we utilize an interpolation parameter and tune it on the fly, alongside the model parameters, using a one-dimensional online learning algorithm. We verify the practical advantage of our approach through experiments on both synthetic and real datasets, demonstrating improved performance over classic SSL baselines and PPI methods that tune the interpolation parameter offline.
- Abstract(参考訳): 予測パワー推論(英: Prediction-Powered Inference, PPI)は、ラベル付きデータとラベルなしデータの両方に擬似ラベルを応用し、偏りのない低分散推定器を構築するパラメータ推定のための、最近提案された統計的推論手法である。
本研究は、モデルトレーニングのための半教師付き学習(SSL)にコアアイデアを拡張し、新しい非バイアス勾配推定器を導入する。
ラベルのないデータはモデルのパフォーマンスを改善することができるが、その利点は擬似ラベルの品質に大きく依存する。
不正確な擬似ラベルは、バイアスを導入し、最適でないモデルにつながり、ラベル付きデータと擬似ラベル付きデータの寄与のバランスをとるために、補間パラメータを使用し、1次元オンライン学習アルゴリズムを用いてモデルパラメータとともに、それをオンザフライで調整する。
我々は,従来のSSLベースラインと補間パラメータをオフラインに調整するPPIメソッドよりも優れた性能を示すため,合成データセットと実データセットの両方の実験を通じて,我々のアプローチの実用的利点を検証する。
関連論文リスト
- Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。
生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
論文 参考訳(メタデータ) (2025-10-16T03:37:16Z) - A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。
Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。
本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
論文 参考訳(メタデータ) (2024-03-27T09:49:37Z) - Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label
Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。
我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。
本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文 参考訳(メタデータ) (2023-12-13T09:32:50Z) - Progressive Feature Adjustment for Semi-supervised Learning from
Pretrained Models [39.42802115580677]
半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。
近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。
本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
論文 参考訳(メタデータ) (2023-09-09T01:57:14Z) - Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文 参考訳(メタデータ) (2023-06-14T11:41:42Z) - Mixed Semi-Supervised Generalized-Linear-Regression with Applications to Deep-Learning and Interpolators [6.537685198688539]
本稿では、ラベルのないデータを用いて、半教師付き学習法(SSL)を設計する手法を提案する。
それぞれに$alpha$という混合パラメータが含まれており、ラベルのないデータに与えられる重みを制御する。
我々は,標準教師付きモデルと比較して,大幅な改善を実現するための方法論の有効性を実証する。
論文 参考訳(メタデータ) (2023-02-19T09:55:18Z) - Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition [55.362258027878966]
本稿では,半教師付き音声認識のための簡易かつ効果的な手法として,モーメント擬似ラベル(MPL)を提案する。
MPLは、平均的な教師メソッドにインスパイアされて、相互に相互作用し、学習するオンラインとオフラインの2つのモデルで構成されている。
実験の結果,MPLはベースモデルよりも効果的に改善され,様々な半教師付きシナリオに拡張可能であることが示された。
論文 参考訳(メタデータ) (2021-06-16T16:24:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。