論文の概要: Provable Weak-to-Strong Generalization via Benign Overfitting

• arxiv url: http://arxiv.org/abs/2410.04638v1
• Date: Sun, 6 Oct 2024 22:10:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 02:47:36.452058
• Title: Provable Weak-to-Strong Generalization via Benign Overfitting
• Title（参考訳）: 良性オーバーフィッティングによる確率弱相関一般化
• Authors: David X. Wu, Anant Sahai,
• Abstract要約: 弱い教師が不完全な擬似ラベルを持つ強い生徒を監督する逆の状況を考える。 理論的には、二進分類と多進分類の弱強一般化を理論的に検討する。 我々の手法は最終的には弱いクラスから強いクラスに拡張されるべきである。
• 参考スコア（独自算出の注目度）: 3.4652800888823294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The classic teacher-student model in machine learning posits that a strong teacher supervises a weak student to improve the student's capabilities. We instead consider the inverted situation, where a weak teacher supervises a strong student with imperfect pseudolabels. This paradigm was recently brought forth by Burns et al.'23 and termed \emph{weak-to-strong generalization}. We theoretically investigate weak-to-strong generalization for binary and multilabel classification in a stylized overparameterized spiked covariance model with Gaussian covariates where the weak teacher's pseudolabels are asymptotically like random guessing. Under these assumptions, we provably identify two asymptotic phases of the strong student's generalization after weak supervision: (1) successful generalization and (2) random guessing. Our techniques should eventually extend to weak-to-strong multiclass classification. Towards doing so, we prove a tight lower tail inequality for the maximum of correlated Gaussians, which may be of independent interest. Understanding the multilabel setting reinforces the value of using logits for weak supervision when they are available.
• Abstract（参考訳）: 機械学習における古典的な教師学生モデルは、強い教師が弱い生徒を監督し、生徒の能力を向上させることを実証している。 その代わりに、弱い教師が不完全な擬似ラベルを持つ強い生徒を監督する逆の状況を考える。 このパラダイムはバーンズらによって最近紹介され、'emph{weak-to-strong generalization} と呼ばれた。 弱教師の擬似ラベルが確率的推測のように漸近的に漸近的に現れるガウス共変体を用いたスタイリングオーバーパラメータ化スパイク共分散モデルにおいて、二分法と多ラベル分類の弱い対強一般化を理論的に検討する。 これらの仮定に基づき, 弱監督後の強い学生の一般化の漸近位相を, 1) 一般化の成功と(2) ランダムな推算の2つの相を確実に同定する。 我々の手法は最終的には弱いクラスから強いクラスに拡張されるべきである。 そのために、関係のあるガウスの最大値に対して、より低い尾の不等式を証明し、これは独立な関心を持つかもしれない。 マルチラベル設定を理解することで,ロジットの使用価値が向上する。

関連論文リスト

• Theoretical Analysis of Weak-to-Strong Generalization [23.235671743867492]
  既存の弱監督理論は擬似ラベル補正とカバレッジ拡張を考慮しないことを示す。 我々の境界線は、強モデルが追加の誤りを起こさずに弱教師の誤りに適合できない場合に、弱強一般化が起こるという直感を捉えている。
  論文  参考訳（メタデータ） (2024-05-25T03:48:12Z)
• Co-Supervised Learning: Improving Weak-to-Strong Generalization with Hierarchical Mixture of Experts [81.37287967870589]
  我々は,一貫した生徒を統括する,一貫した一貫した教師ではなく,多様な専門教師の集合を活用することを提案する。 我々のアプローチは、古典的な階層的な専門家の混合に似ている。 提案手法は,OpenAIの弱強ベンチマークと追加のマルチドメインデータセットを用いて,視覚認識タスクにより検証する。
  論文  参考訳（メタデータ） (2024-02-23T18:56:11Z)
• Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning [59.44422468242455]
  そこで我々はShrinkMatchと呼ばれる新しい手法を提案し、不確実なサンプルを学習する。 それぞれの不確実なサンプルに対して、元の Top-1 クラスを単に含むスランク類空間を適応的に求める。 次に、スランク空間における強と弱に強化された2つのサンプル間の整合正則化を課し、識別的表現を試みます。
  論文  参考訳（メタデータ） (2023-08-13T14:05:24Z)
• Pseudo Contrastive Learning for Graph-based Semi-supervised Learning [67.37572762925836]
  Pseudo Labelingは、グラフニューラルネットワーク(GNN)の性能向上に使用されるテクニックである。 我々はPseudo Contrastive Learning(PCL)と呼ばれるGNNのための一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-19T10:34:08Z)
• Self-Training with Differentiable Teacher [80.62757989797095]
  自己学習は、様々な半教師付きおよび弱教師付き学習タスクで大きな成功を収める。 この手法は、教師が擬似ラベルを生成し、生徒が予測を行う教師学生の枠組みとして解釈できる。 そこで我々は,教師学生をStackelbergゲームとして扱う,差別化可能な自己学習法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T02:06:13Z)
• Distilling Double Descent [65.85258126760502]
  蒸留とは、別の「教師」モデルでラベル付けされた例に基づいた「学生」モデルを訓練する技法である。 教師モデルが非常にパラメータ化されすぎている場合であっても、非常に大きな保持されていないラベル付きデータセットを使用することで、より"伝統的な"アプローチを上回るモデルが生まれます。
  論文  参考訳（メタデータ） (2021-02-13T02:26:48Z)
• Robustness May Be at Odds with Fairness: An Empirical Study on Class-wise Accuracy [85.20742045853738]
  CNNは敵の攻撃に弱いことが広く知られている。 本稿では,対人訓練モデルのクラスワイド精度とロバスト性に関する実証的研究を提案する。 トレーニングデータセットが各クラスに同じ数のサンプルを持つ場合でも,精度と堅牢性にはクラス間差があることが判明した。
  論文  参考訳（メタデータ） (2020-10-26T06:32:32Z)
• Classifier-independent Lower-Bounds for Adversarial Robustness [13.247278149124757]
  理論的には、テストタイムの逆数と雑音の分類例に対するロバスト性の限界を解析する。 最適輸送理論を用いて、与えられた分類問題に対して分類器ができるベイズ最適誤差の変分式を導出する。 一般的な距離ベース攻撃の場合,ベイズ最適誤差に対して明らかな下限を導出する。
  論文  参考訳（メタデータ） (2020-06-17T16:46:39Z)
• Rethinking the Value of Labels for Improving Class-Imbalanced Learning [20.953282288425118]
  クラス不均衡学習は、半教師ありと自己教師ありの両方の方法において有益である。 不均衡なラベルは常に役に立ちません。 この結果から,現実的な長期タスクにおける不均衡ラベルの使用を再考する必要性が浮き彫りとなった。
  論文  参考訳（メタデータ） (2020-06-13T01:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。