論文の概要: Supervised Models Can Generalize Also When Trained on Random Labels

• arxiv url: http://arxiv.org/abs/2505.11006v2
• Date: Thu, 22 May 2025 06:49:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 12:25:14.982858
• Title: Supervised Models Can Generalize Also When Trained on Random Labels
• Title（参考訳）: ランダムラベルでトレーニングすれば、モデルも一般化できる
• Authors: Oskar Allerbo, Thomas B. Schön,
• Abstract要約: 教師なし学習は、教師なしモデルも、出力$y$の情報を使わずにトレーニングできるかどうかという疑問を提起する。 モデルをより滑らかに、すなわち $hatf=Sy$ の形に定式化し、$y$ とは独立により滑らかな行列 $S$ を構築する。 我々は、リニアおよびカーネルリッジのレグレッション、スムーズなスプライン、ニューラルネットワークの$y$のトレーニングされたバージョンが、標準の$y$ベースのバージョンと同じようなパフォーマンスを示し、最も重要なのは、ランダムな推測よりもはるかに優れていることである。
• 参考スコア（独自算出の注目度）: 11.11462289882034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of unsupervised learning raises the question of whether also supervised models can be trained without using the information in the output $y$. In this paper, we demonstrate that this is indeed possible. The key step is to formulate the model as a smoother, i.e. on the form $\hat{f}=Sy$, and to construct the smoother matrix $S$ independently of $y$, e.g. by training on random labels. We present a simple model selection criterion based on the distribution of the out-of-sample predictions and show that, in contrast to cross-validation, this criterion can be used also without access to $y$. We demonstrate on real and synthetic data that $y$-free trained versions of linear and kernel ridge regression, smoothing splines, and neural networks perform similarly to their standard, $y$-based, versions and, most importantly, significantly better than random guessing.
• Abstract（参考訳）: 教師なし学習の成功は、教師なしモデルも、出力$y$の情報を使わずにトレーニングできるかどうかという問題を提起する。 本稿では,これが実際に可能であることを実証する。 鍵となるステップは、モデルをより滑らかに、すなわち $\hat{f}=Sy$ の形に定式化し、ランダムラベルのトレーニングにより、より滑らかな行列 $S$ を$y$ とは独立に構成することである。 サンプル外予測の分布に基づく単純なモデル選択基準を示し、クロスバリデーションとは対照的に、この基準は$y$にアクセスできることなく利用できることを示す。 我々は、リニアおよびカーネルリッジのレグレッション、スムーズなスプライン、ニューラルネットワークといった、$y$フリーのトレーニング済みバージョンが、標準の$y$ベース、バージョン、そして最も重要なのは、ランダムな推測よりもはるかに優れたパフォーマンスを示す実データと合成データを実証する。

関連論文リスト

• Towards a statistical theory of data selection under weak supervision [7.540077751816086]
  サイズが$N$のサンプルが与えられた場合、統計的な推定や学習に使用される小さなサイズの$nN$のサブサンプルを選択するのが有用である。 我々は、ラベルのないサンプル$N$$bold x_i_ile N$を与えられると仮定し、ランダムな推測よりも$y_i$のラベルを予測できる代理モデルにアクセスできると仮定する。
  論文  参考訳（メタデータ） (2023-09-25T22:23:27Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• What Makes A Good Fisherman? Linear Regression under Self-Selection Bias [32.6588421908864]
  古典的な自己選択の設定では、ゴールは、観測値$(x(i), y(i))$から同時に$k$モデルを学ぶことである。 本研究では,モデルが線形であるこの問題の最も標準的な設定に対して,計算的かつ統計的に効率的な推定アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T14:03:05Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• Datamodels: Predicting Predictions from Training Data [86.66720175866415]
  本稿では,モデルクラスの振る舞いを学習データの観点から分析するための概念的枠組みであるデータモデリングについて述べる。 単純な線形データモデルであっても、モデル出力をうまく予測できることが示される。
  論文  参考訳（メタデータ） (2022-02-01T18:15:24Z)
• Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition [98.25592165484737]
  CMPL(Cross-Model Pseudo-Labeling)と呼ばれる,より効果的な擬似ラベル方式を提案する。 CMPLは、それぞれRGBモダリティとラベル付きデータのみを使用して、Kinetics-400とUCF-101のTop-1の精度を17.6%と25.1%で達成している。
  論文  参考訳（メタデータ） (2021-12-17T18:59:41Z)
• Analysis of One-Hidden-Layer Neural Networks via the Resolvent Method [0.0]
  ランダムニューラルネットワークによって動機づけられた確率行列 $M = Y Yast$ と $Y = f(WX)$ を考える。 制限スペクトル分布のStieltjes変換は、いくつかの誤差項まで準自己整合方程式を満たすことを証明している。 さらに、前回の結果を加法バイアス $Y=f(WX+B)$ の場合に拡張し、$B$ は独立なランク1のガウス確率行列である。
  論文  参考訳（メタデータ） (2021-05-11T15:17:39Z)
• Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
  スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。 本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。 提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
  論文  参考訳（メタデータ） (2020-09-21T02:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。