論文の概要: On the Mechanisms of Weak-to-Strong Generalization: A Theoretical Perspective

• arxiv url: http://arxiv.org/abs/2505.18346v1
• Date: Fri, 23 May 2025 20:09:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.356139
• Title: On the Mechanisms of Weak-to-Strong Generalization: A Theoretical Perspective
• Title（参考訳）: 弱-ストロング一般化のメカニズム:理論的展望
• Authors: Behrad Moniri, Hamed Hassani,
• Abstract要約: 不完全なラベルで訓練された学生モデルが、その教師を超えている弱々しい一般化が広く観察されている。 本稿では,単純なモデルの理論解析を通じて,この現象を駆動する3つのコア機構を明らかにする。
• 参考スコア（独自算出の注目度）: 28.005935031887038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weak-to-strong generalization, where a student model trained on imperfect labels generated by a weaker teacher nonetheless surpasses that teacher, has been widely observed but the mechanisms that enable it have remained poorly understood. In this paper, through a theoretical analysis of simple models, we uncover three core mechanisms that can drive this phenomenon. First, by analyzing ridge regression, we study the interplay between the teacher and student regularization and prove that a student can compensate for a teacher's under-regularization and achieve lower test error. We also analyze the role of the parameterization regime of the models. Second, by analyzing weighted ridge regression, we show that a student model with a regularization structure more aligned to the target, can outperform its teacher. Third, in a nonlinear multi-index setting, we demonstrate that a student can learn easy, task-specific features from the teacher while leveraging its own broader pre-training to learn hard-to-learn features that the teacher cannot capture.
• Abstract（参考訳）: 弱い教師が生成した不完全なラベルを訓練した学生モデルが、その教師を上回りながら広く観察されているが、それを実現するメカニズムはいまだに理解されていない。 本稿では,単純なモデルの理論解析を通じて,この現象を駆動する3つのコア機構を明らかにする。 まず,教師と学生の正規化の相互作用を解析し,教師の非正規化を補うことができ,より低いテスト誤差を達成できることを示す。 また,モデルのパラメータ化機構の役割も分析する。 第2に,重み付きリッジ回帰を解析することにより,正規化構造が目標に整合した学生モデルが,教師より優れていることを示す。 第3に, 非線形マルチインデックス設定では, 教師が習得できない難易度の高い特徴を学習するために, より広範な事前学習を活用しながら, 生徒が教師から容易に, タスク固有の特徴を習得できることを実証する。

関連論文リスト

• Alice: Proactive Learning with Teacher's Demonstrations for Weak-to-Strong Generalization [69.96794098855938]
  Weak-to-strong Generalization (W2SG)は、ますます有能な言語モデル(LLM)を監督するための有望なフレームワークを提供する。 伝統的なW2SG手法は受動的学習に依存しており、弱い教師は強い生徒を訓練するためにノイズの多いデモを提供する。 教師と生徒の相補的な知識を活用して学習プロセスを強化するフレームワークであるAliceを紹介した。
  論文  参考訳（メタデータ） (2025-04-09T22:33:06Z)
• Understanding the Capabilities and Limitations of Weak-to-Strong Generalization [40.793180521446466]
  弱強一般化に関する理論的知見を提供する。 弱いモデルは強力な一般化性能を示し、よく校正された予測を維持するべきである。 我々は、Charikar et al. (2024) の業績を、Kullback-Leibler の発散に基づく損失関数に拡張する。
  論文  参考訳（メタデータ） (2025-02-03T15:48:28Z)
• Theoretical Analysis of Weak-to-Strong Generalization [23.235671743867492]
  既存の弱監督理論は擬似ラベル補正とカバレッジ拡張を考慮しないことを示す。 我々の境界線は、強モデルが追加の誤りを起こさずに弱教師の誤りに適合できない場合に、弱強一般化が起こるという直感を捉えている。
  論文  参考訳（メタデータ） (2024-05-25T03:48:12Z)
• Co-Supervised Learning: Improving Weak-to-Strong Generalization with Hierarchical Mixture of Experts [81.37287967870589]
  我々は,一貫した生徒を統括する,一貫した一貫した教師ではなく,多様な専門教師の集合を活用することを提案する。 我々のアプローチは、古典的な階層的な専門家の混合に似ている。 提案手法は,OpenAIの弱強ベンチマークと追加のマルチドメインデータセットを用いて,視覚認識タスクにより検証する。
  論文  参考訳（メタデータ） (2024-02-23T18:56:11Z)
• On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
  知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。 教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
  論文  参考訳（メタデータ） (2023-01-30T14:25:02Z)
• Supervision Complexity and its Role in Knowledge Distillation [65.07910515406209]
  蒸留した学生の一般化行動について検討する。 この枠組みは、教師の精度、教師の予測に対する生徒の差、教師の予測の複雑さの間の微妙な相互作用を強調している。 オンライン蒸留の有効性を実証し,様々な画像分類ベンチマークとモデルアーキテクチャに関する理論的知見を検証した。
  論文  参考訳（メタデータ） (2023-01-28T16:34:47Z)
• From Mimicking to Integrating: Knowledge Integration for Pre-Trained Language Models [55.137869702763375]
  本稿では,新しいPLM再利用パラダイムであるKnowledge Integration(KI)について検討する。 KIは,異なる分類問題に特化している教師-PLMの知識を,多種多様な学生モデルにマージすることを目的としている。 次に,モデル不確かさを意識した知識統合(MUKI)フレームワークを設計し,学生の黄金の監督を回復する。
  論文  参考訳（メタデータ） (2022-10-11T07:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。