論文の概要: Weak-to-Strong Generalization is Nearly Inevitable (in Linear Models)

• arxiv url: http://arxiv.org/abs/2605.05742v1
• Date: Thu, 07 May 2026 06:33:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.567276
• Title: Weak-to-Strong Generalization is Nearly Inevitable (in Linear Models)
• Title（参考訳）: 弱-ストロング一般化は(線形モデルにおける)ほぼ不可避である
• Abstract要約: 我々は、標準線形ロジスティック回帰において弱強一般化が生じることを示す。 これはほとんどの生徒と教師のペアで起こり、この基本的な設定でさえ、弱いから強い一般化は必然的に最も避けられないものであることを示唆している。
• 参考スコア（独自算出の注目度）: 7.661703938597629
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Weak-to-strong generalization is a phenomenon in post-training whereby a strong student model, when finetuned solely with feedback from a weaker teacher, can not only surpass the teacher, but can improve upon its own capabilities. Recent work of Burns et al. (2023) demonstrated that this can occur in the setting of frontier language models, and subsequently there has been a flurry of both empirical work trying to exploit this phenomenon, as well as theoretical work attempting to understand it. In this work, we demonstrate that weak-to-strong generalization occurs in standard linear logistic regression, under mild distributional assumptions on the data. In fact, we show that this happens for most student-teacher pairs, suggesting that weak-to-strong generalization is in fact \emph{almost inevitable}, even in this basic setting. Notably, our setting does not require the student to be more expressive or have more model capacity in any way compared to the teacher, which runs contrary to the prevailing theoretical belief that a mismatch in model capacity is a central mechanism to weak-to-strong generalization.
• Abstract（参考訳）: 弱体化の一般化は、弱体化の教師からのフィードバックだけで微調整された強力な学生モデルが、教師に勝るだけでなく、自身の能力を向上させることができるポストトレーニングにおける現象である。 Burns et al (2023) の最近の研究は、これがフロンティア言語モデルの設定で起こりうることを示した。 本研究では,データに対する軽度分布仮定の下で,標準線形ロジスティック回帰において弱強一般化が生じることを示す。 実際、これはほとんどの生徒と教師のペアに対して起こることを示し、この基本的な設定でさえ、弱強汎化は実際には「最も避けられない」ものであることを示唆している。 特に、我々の設定では、モデル能力のミスマッチが弱強一般化の中枢的なメカニズムであるという一般的な理論的信念に反して、教師と比べて生徒がより表現力を持ち、よりモデル能力を持つ必要はない。

関連論文リスト

• On the Mechanisms of Weak-to-Strong Generalization: A Theoretical Perspective [28.005935031887038]
  不完全なラベルで訓練された学生モデルが、その教師を超えている弱々しい一般化が広く観察されている。 本稿では,単純なモデルの理論解析を通じて,この現象を駆動する3つのコア機構を明らかにする。
  論文  参考訳（メタデータ） (2025-05-23T20:09:09Z)
• How to Mitigate Overfitting in Weak-to-strong Generalization? [50.37526669608372]
  Weak-to-strongの一般化は、弱いスーパーバイザーを通して強いモデルの能力を引き出すことを目的としている。 強いモデルは弱強一般化において顕著な過剰適合を示す。 本稿では,監視信号の品質と入力質問の品質を同時に向上する2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T09:32:39Z)
• Weak-to-Strong Generalization Even in Random Feature Networks, Provably [52.6431973649838]
  GPT-4のような強力な学習者を必要としないことを示す。 我々は、弱い教師によってラベル付けされたデータにのみ訓練されたにもかかわらず、学生がいかに教師より優れているかを実証し、証明し、理解する。
  論文  参考訳（メタデータ） (2025-03-04T18:58:00Z)
• Deep Learning is Not So Mysterious or Different [54.5330466151362]
  我々は、異常な一般化行動はニューラルネットワークとは異なるものではないと主張している。 我々はこれらの現象を説明する上で重要な統一原理として、軟性誘導バイアスを提示する。 また、ディープラーニングが、表現学習の能力など、他の方法と相対的に異なる点を強調します。
  論文  参考訳（メタデータ） (2025-03-03T22:56:04Z)
• The Capabilities and Limitations of Weak-to-Strong Generalization: Generalization and Calibration [38.49808553313377]
  弱強一般化に関する理論的知見を提供する。 弱いモデルは強力な一般化性能を示し、よく校正された予測を維持するべきである。 我々は、Charikar et al. (2024) の業績を、Kullback-Leibler の発散に基づく損失関数に拡張する。
  論文  参考訳（メタデータ） (2025-02-03T15:48:28Z)
• Provable Weak-to-Strong Generalization via Benign Overfitting [3.4652800888823294]
  弱い教師が不完全な擬似ラベルを持つ強い生徒を監督する逆の状況を考える。 理論的には、二進分類と多進分類の弱強一般化を理論的に検討する。 我々の手法は最終的には弱いクラスから強いクラスに拡張されるべきである。
  論文  参考訳（メタデータ） (2024-10-06T22:10:50Z)
• Super(ficial)-alignment: Strong Models May Deceive Weak Models in Weak-to-Strong Generalization [68.62228569439478]
  弱い着想の問題が存在するかどうかを考察する。 弱いモデルと強いモデルの間の能力ギャップが増大するにつれて、偽造は増大する。 私たちの研究は、スーパーアライメントの真の信頼性にもっと注意を払う必要があることを強調します。
  論文  参考訳（メタデータ） (2024-06-17T11:36:39Z)
• Theoretical Analysis of Weak-to-Strong Generalization [23.235671743867492]
  既存の弱監督理論は擬似ラベル補正とカバレッジ拡張を考慮しないことを示す。 我々の境界線は、強モデルが追加の誤りを起こさずに弱教師の誤りに適合できない場合に、弱強一般化が起こるという直感を捉えている。
  論文  参考訳（メタデータ） (2024-05-25T03:48:12Z)
• Quantifying the Gain in Weak-to-Strong Generalization [14.453654853392619]
  より弱いモデルよりも強いモデルによって達成される性能の向上は、弱いモデルによって生成されるラベル上の強モデルによって引き起こされる不適合誤差によって定量化されることを示す。 例えば、強いモデルが弱いモデルよりも改善する量を予測することができ、また、そのミスフィットエラーに基づいて、強いモデルをトレーニングするために異なる弱いモデルを選択することができる。
  論文  参考訳（メタデータ） (2024-05-24T00:14:16Z)
• On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
  教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。 本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。 この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
  論文  参考訳（メタデータ） (2024-03-11T16:23:42Z)
• Vision Superalignment: Weak-to-Strong Generalization for Vision Foundation Models [55.919653720979824]
  本稿では、より弱いモデルを用いてより強いモデルを監督する弱強一般化の概念に焦点を当てる。 弱強監督のための新規かつ適応的に調整可能な損失関数を提案する。 提案手法は, 強い一般化によって設定された性能ベンチマークを超えるだけでなく, データセット全体を用いた微調整の強いモデルの結果を上回る。
  論文  参考訳（メタデータ） (2024-02-06T06:30:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。