論文の概要: Semi-Supervised Empirical Risk Minimization: Using unlabeled data to improve prediction

• arxiv url: http://arxiv.org/abs/2009.00606v5
• Date: Sat, 5 Feb 2022 11:34:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-23 00:52:07.743589
• Title: Semi-Supervised Empirical Risk Minimization: Using unlabeled data to improve prediction
• Title（参考訳）: 半教師付き経験的リスク最小化:ラベルなしデータを用いて予測を改善する
• Authors: Oren Yuval and Saharon Rosset
• Abstract要約: 本稿では,経験的リスク最小化(Empirical Risk Minimization,ERM)学習プロセスの半教師付き学習(SSL)変種を設計するためにラベルのないデータを使用する一般的な手法を提案する。 我々は、予測性能の向上におけるSSLアプローチの有効性を分析した。
• 参考スコア（独自算出の注目度）: 4.860671253873579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a general methodology for using unlabeled data to design semi supervised learning (SSL) variants of the Empirical Risk Minimization (ERM) learning process. Focusing on generalized linear regression, we analyze of the effectiveness of our SSL approach in improving prediction performance. The key ideas are carefully considering the null model as a competitor, and utilizing the unlabeled data to determine signal-noise combinations where SSL outperforms both supervised learning and the null model. We then use SSL in an adaptive manner based on estimation of the signal and noise. In the special case of linear regression with Gaussian covariates, we prove that the non-adaptive SSL version is in fact not capable of improving on both the supervised estimator and the null model simultaneously, beyond a negligible O(1/n) term. On the other hand, the adaptive model presented in this work, can achieve a substantial improvement over both competitors simultaneously, under a variety of settings. This is shown empirically through extensive simulations, and extended to other scenarios, such as non-Gaussian covariates, misspecified linear regression, or generalized linear regression with non-linear link functions.
• Abstract（参考訳）: 本稿では,非ラベルデータを用いて経験的リスク最小化(erm)学習プロセスの半教師付き学習(ssl)変種を設計する一般的な手法を提案する。 一般化線形回帰に着目し,予測性能向上におけるSSL手法の有効性を解析した。 鍵となる考え方は、Nullモデルを競合として慎重に検討し、ラベルのないデータを使用してSSLが教師付き学習とNullモデルの両方を上回る信号とノイズの組み合わせを決定することである。 次に、信号と雑音の推定に基づいてSSLを適応的に利用する。 ガウス共変量を用いた線形回帰の特別の場合、非適応型SSLバージョンは実際には、無視可能な O(1/n) 項を超えて、教師付き推定子とヌルモデルの両方を同時に改善することができないことを証明している。 一方,本研究で提示される適応モデルは,様々な設定下で,同時に両競争相手に対して大幅な改善を実現することができる。 これは広範なシミュレーションを通じて経験的に示され、非ガウス共変量、不特定線型回帰、非線形リンク関数を持つ一般化線形回帰など他のシナリオにも拡張される。

関連論文リスト

• Semi-supervised Regression Analysis with Model Misspecification and High-dimensional Data [8.619243141968886]
  条件付き平均モデルにおける回帰係数を推定するための推論フレームワークを提案する。 提案手法は,正規化推定器を適応度スコア(PS)と結果回帰(OR)モデルの両方に用い,拡張逆確率重み付き(AIPW)法を開発した。 我々の理論的な知見は、広範囲なシミュレーション研究と実世界のデータ応用を通して検証される。
  論文  参考訳（メタデータ） (2024-06-20T00:34:54Z)
• Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
  本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。 本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-29T04:15:58Z)
• Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。 近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。 本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
  論文  参考訳（メタデータ） (2023-09-09T01:57:14Z)
• Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
  オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。 本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。 Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-21T09:07:15Z)
• Mixed Semi-Supervised Generalized-Linear-Regression with applications to Deep-Learning and Interpolators [6.537685198688539]
  本稿では、ラベルのないデータを用いて、半教師付き学習法(SSL)を設計する手法を提案する。 それぞれに$alpha$という混合パラメータが含まれており、ラベルのないデータに与えられる重みを制御する。 我々は,標準教師付きモデルと比較して,大幅な改善を実現するための方法論の有効性を実証する。
  論文  参考訳（メタデータ） (2023-02-19T09:55:18Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• How robust are pre-trained models to distribution shift? [82.08946007821184]
  自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。 本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
  論文  参考訳（メタデータ） (2022-06-17T16:18:28Z)
• Pessimistic Q-Learning for Offline Reinforcement Learning: Towards Optimal Sample Complexity [51.476337785345436]
  有限水平マルコフ決定過程の文脈におけるQ-ラーニングの悲観的変種について検討する。 ほぼ最適サンプル複雑性を実現するために,分散再現型悲観的Q-ラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-28T15:39:36Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• Efficient Estimation and Evaluation of Prediction Rules in Semi-Supervised Settings under Stratified Sampling [6.930951733450623]
  本稿では,2段階の半教師付き学習(SSL)手法を提案する。 ステップIでは、非ランダムサンプリングを考慮した非線形基底関数による重み付き回帰により、欠落ラベルをインプットする。 ステップIIでは、結果の予測器の整合性を確保するために、初期計算を増強する。
  論文  参考訳（メタデータ） (2020-10-19T12:54:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。