論文の概要: Weak-to-Strong Generalization is Nearly Inevitable (in Linear Models)

• arxiv url: http://arxiv.org/abs/2605.05742v1
• Date: Thu, 07 May 2026 06:33:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.567276
• Title: Weak-to-Strong Generalization is Nearly Inevitable (in Linear Models)
• Title（参考訳）: 弱-ストロング一般化は(線形モデルにおける)ほぼ不可避である
• Authors: Scott Geng, Dutch Hansen, Jerry Li,
• Abstract要約: 我々は、標準線形ロジスティック回帰において弱強一般化が生じることを示す。 これはほとんどの生徒と教師のペアで起こり、この基本的な設定でさえ、弱いから強い一般化は必然的に最も避けられないものであることを示唆している。
• 参考スコア（独自算出の注目度）: 7.661703938597629
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Weak-to-strong generalization is a phenomenon in post-training whereby a strong student model, when finetuned solely with feedback from a weaker teacher, can not only surpass the teacher, but can improve upon its own capabilities. Recent work of Burns et al. (2023) demonstrated that this can occur in the setting of frontier language models, and subsequently there has been a flurry of both empirical work trying to exploit this phenomenon, as well as theoretical work attempting to understand it. In this work, we demonstrate that weak-to-strong generalization occurs in standard linear logistic regression, under mild distributional assumptions on the data. In fact, we show that this happens for most student-teacher pairs, suggesting that weak-to-strong generalization is in fact \emph{almost inevitable}, even in this basic setting. Notably, our setting does not require the student to be more expressive or have more model capacity in any way compared to the teacher, which runs contrary to the prevailing theoretical belief that a mismatch in model capacity is a central mechanism to weak-to-strong generalization.
• Abstract（参考訳）: 弱体化の一般化は、弱体化の教師からのフィードバックだけで微調整された強力な学生モデルが、教師に勝るだけでなく、自身の能力を向上させることができるポストトレーニングにおける現象である。 Burns et al (2023) の最近の研究は、これがフロンティア言語モデルの設定で起こりうることを示した。 本研究では,データに対する軽度分布仮定の下で,標準線形ロジスティック回帰において弱強一般化が生じることを示す。 実際、これはほとんどの生徒と教師のペアに対して起こることを示し、この基本的な設定でさえ、弱強汎化は実際には「最も避けられない」ものであることを示唆している。 特に、我々の設定では、モデル能力のミスマッチが弱強一般化の中枢的なメカニズムであるという一般的な理論的信念に反して、教師と比べて生徒がより表現力を持ち、よりモデル能力を持つ必要はない。

関連論文リスト

• On the Mechanisms of Weak-to-Strong Generalization: A Theoretical Perspective [28.005935031887038]
  不完全なラベルで訓練された学生モデルが、その教師を超えている弱々しい一般化が広く観察されている。 本稿では,単純なモデルの理論解析を通じて,この現象を駆動する3つのコア機構を明らかにする。
  論文  参考訳（メタデータ） (2025-05-23T20:09:09Z)
• Weak-to-Strong Generalization Even in Random Feature Networks, Provably [52.6431973649838]
  GPT-4のような強力な学習者を必要としないことを示す。 我々は、弱い教師によってラベル付けされたデータにのみ訓練されたにもかかわらず、学生がいかに教師より優れているかを実証し、証明し、理解する。
  論文  参考訳（メタデータ） (2025-03-04T18:58:00Z)
• The Capabilities and Limitations of Weak-to-Strong Generalization: Generalization and Calibration [38.49808553313377]
  弱強一般化に関する理論的知見を提供する。 弱いモデルは強力な一般化性能を示し、よく校正された予測を維持するべきである。 我々は、Charikar et al. (2024) の業績を、Kullback-Leibler の発散に基づく損失関数に拡張する。
  論文  参考訳（メタデータ） (2025-02-03T15:48:28Z)
• Super(ficial)-alignment: Strong Models May Deceive Weak Models in Weak-to-Strong Generalization [68.62228569439478]
  弱い着想の問題が存在するかどうかを考察する。 弱いモデルと強いモデルの間の能力ギャップが増大するにつれて、偽造は増大する。 私たちの研究は、スーパーアライメントの真の信頼性にもっと注意を払う必要があることを強調します。
  論文  参考訳（メタデータ） (2024-06-17T11:36:39Z)
• Theoretical Analysis of Weak-to-Strong Generalization [23.235671743867492]
  既存の弱監督理論は擬似ラベル補正とカバレッジ拡張を考慮しないことを示す。 我々の境界線は、強モデルが追加の誤りを起こさずに弱教師の誤りに適合できない場合に、弱強一般化が起こるという直感を捉えている。
  論文  参考訳（メタデータ） (2024-05-25T03:48:12Z)
• On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
  教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。 本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。 この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
  論文  参考訳（メタデータ） (2024-03-11T16:23:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。