論文の概要: Improved Scaling Laws via Weak-to-Strong Generalization in Random Feature Ridge Regression

• arxiv url: http://arxiv.org/abs/2603.05691v1
• Date: Thu, 05 Mar 2026 21:32:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:44.502636
• Title: Improved Scaling Laws via Weak-to-Strong Generalization in Random Feature Ridge Regression
• Title（参考訳）: ランダム特徴リッジ回帰における弱-ストロング一般化によるスケーリング法則の改善
• Authors: Diyuan Wu, Lehan Chen, Theodor Misiakiewicz, Marco Mondelli,
• Abstract要約: スケーリング法則に影響を及ぼし,その後にテストエラーが発生するという意味で,潜在的な改善は極めて重要であることを示す。 厳密には、生徒は教師のスケーリング法則によらず、最小限の最適率を達成することができる。
• 参考スコア（独自算出の注目度）: 27.0471650610245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is increasingly common in machine learning to use learned models to label data and then employ such data to train more capable models. The phenomenon of weak-to-strong generalization exemplifies the advantage of this two-stage procedure: a strong student is trained on imperfect labels obtained from a weak teacher, and yet the strong student outperforms the weak teacher. In this paper, we show that the potential improvement is substantial, in the sense that it affects the scaling law followed by the test error. Specifically, we consider students and teachers trained via random feature ridge regression (RFRR). Our main technical contribution is to derive a deterministic equivalent for the excess test error of the student trained on labels obtained via the teacher. Via this deterministic equivalent, we then identify regimes in which the scaling law of the student improves upon that of the teacher, unveiling that the improvement can be achieved both in bias-dominated and variance-dominated settings. Strikingly, the student may attain the minimax optimal rate regardless of the scaling law of the teacher -- in fact, when the test error of the teacher does not even decay with the sample size.
• Abstract（参考訳）: 機械学習では、学習したモデルを使ってデータをラベル付けし、そのようなデータを使ってより有能なモデルを訓練することがますます一般的になっている。 弱い生徒は弱い教師から得られた不完全なラベルに基づいて訓練されるが、強い生徒は弱い教師より優れる。 本稿では,スケーリング法則に影響を及ぼすという意味では,潜在的な改善が極めて重要であることを示す。 具体的には、ランダム・フィーチャー・リッジ・レグレッション(RFRR)を用いて訓練された学生や教師について考察する。 我々の主な技術的貢献は、教師が取得したラベルに基づいて訓練した学生の過大なテストエラーに対して決定論的に同等なものを導出することである。 この決定論的等価性によって、学生のスケーリング法則が教師のそれに基づいて改善される体制を特定し、バイアスに支配された設定と分散に支配された設定の両方で改善が達成できることを示した。 興味深いことに、生徒は教師のスケーリング法則によらず、最小限の最適率に達するかもしれない。

関連論文リスト

• Which Reasoning Trajectories Teach Students to Reason Better? A Simple Metric of Informative Alignment [82.00769536768509]
  Rank-Surprisal Ratioは、推論軌道の適合性を評価するためにアライメントとインフォメーションの両方をキャプチャする単純な計量である。 軌道選択と教師選択の両方において,その実用性を実証する。
  論文  参考訳（メタデータ） (2026-01-20T18:58:10Z)
• Provable Weak-to-Strong Generalization via Benign Overfitting [3.4652800888823294]
  弱い教師が不完全な擬似ラベルを持つ強い生徒を監督する逆の状況を考える。 理論的には、二進分類と多進分類の弱強一般化を理論的に検討する。 我々の手法は最終的には弱いクラスから強いクラスに拡張されるべきである。
  論文  参考訳（メタデータ） (2024-10-06T22:10:50Z)
• Theoretical Analysis of Weak-to-Strong Generalization [23.235671743867492]
  既存の弱監督理論は擬似ラベル補正とカバレッジ拡張を考慮しないことを示す。 我々の境界線は、強モデルが追加の誤りを起こさずに弱教師の誤りに適合できない場合に、弱強一般化が起こるという直感を捉えている。
  論文  参考訳（メタデータ） (2024-05-25T03:48:12Z)
• On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
  知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。 教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
  論文  参考訳（メタデータ） (2023-01-30T14:25:02Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Self-Training with Differentiable Teacher [80.62757989797095]
  自己学習は、様々な半教師付きおよび弱教師付き学習タスクで大きな成功を収める。 この手法は、教師が擬似ラベルを生成し、生徒が予測を行う教師学生の枠組みとして解釈できる。 そこで我々は,教師学生をStackelbergゲームとして扱う,差別化可能な自己学習法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T02:06:13Z)
• Teacher's pet: understanding and mitigating biases in distillation [61.44867470297283]
  いくつかの研究により、蒸留によって学生の全体的なパフォーマンスが著しく向上することが示されている。 しかし、これらのゲインはすべてのデータサブグループに均一なのでしょうか? 蒸留が特定の部分群の性能に悪影響を及ぼすことを示す。 信頼性の低いサブグループに対して,教師の影響を和らげる手法を提案する。
  論文  参考訳（メタデータ） (2021-06-19T13:06:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。