論文の概要: On the Blessing of Pre-training in Weak-to-Strong Generalization

• arxiv url: http://arxiv.org/abs/2605.05710v1
• Date: Thu, 07 May 2026 05:55:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.546281
• Title: On the Blessing of Pre-training in Weak-to-Strong Generalization
• Title（参考訳）: 弱-ストロング一般化における事前学習の祝福について
• Authors: Wei Yao, Wang Zhaoyang, Gengze Xu, Chen Qian, Dongrui Liu, Ziqiao Wang, Yong Liu, Yunbei Xu,
• Abstract要約: 我々は、W2SG(Wak-to-Strong Generalization)の出現の前提条件として事前学習を定めている。 We demonstrate that W2SG is a innate capabilities, but through a phase transition along with pre-training。
• 参考スコア（独自算出の注目度）: 38.765691061220686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The paradigm of Weak-to-Strong Generalization (W2SG) suggests that a pre-trained strong model can surpass its weak supervisor, yet the decisive role of pre-training remains theoretically and empirically under-explored. In this work, we identify pre-training as the essential prerequisite for the emergence of W2SG. Theoretically, we formalize the W2SG problem within a high-dimensional single-index model framework using spiked Gaussian data, modeling pre-training as a spectral initialization step. Building upon prior impossibility results regarding the failure of learning under random initialization, we prove that W2SG is achievable when pre-training provides a geometric warm start that places the model within an "effective region" characterized by a perturbed strong-convexity geometry. Within this region, we derive a rigorous generalization bound that naturally captures the optimization dynamics: an initial performance improvement followed by a saturation bottleneck dictated by the weak supervisor's bias. Empirically, we first validate all our assumptions and theoretical insights through controlled synthetic simulations. Finally, through a massive-scale evaluation of hundreds of intermediate pre-training checkpoints from large language models, we demonstrate that W2SG is not an innate capability but emerges via a phase transition tightly coupled with the progression of pre-training.
• Abstract（参考訳）: W2SG(Wak-to-Strong Generalization)のパラダイムは、事前訓練された強いモデルは、弱い監督者を上回ることができるが、事前訓練の決定的な役割は理論上、実験的に未探索のままであることを示している。 本研究は,W2SGの出現に欠かせない前提条件として,事前学習を同定する。 理論的には、スパイクされたガウスデータを用いて高次元単一インデックスモデルフレームワークでW2SG問題を定式化し、スペクトル初期化ステップとして事前学習をモデル化する。 ランダムな初期化下での学習失敗に関する事前の不可能な結果に基づいて,W2SGは,乱れた強凸幾何を特徴とする「有効領域」にモデルを配置する幾何的な温暖開始を提供する場合,達成可能であることを証明した。 この領域内では、最適化力学を自然に捉える厳密な一般化が導出され、初期性能の改善に続いて、弱い監督者のバイアスによって予測される飽和ボトルネックが続く。 経験的に、我々はまず、制御された合成シミュレーションを通して、仮定と理論上の洞察をすべて検証する。 最後に、大規模言語モデルから数百の中間学習前チェックポイントを大規模に評価することにより、W2SGは自然能力ではなく、事前学習の進行と密結合した相転移によって出現することを示した。

関連論文リスト

• S-GRPO: Unified Post-Training for Large Vision-Language Models [11.901218794806796]
  我々はLVLM(Large Vision-Language Models)適応のためのS-GRPO(Supervised Group Relative Policy Optimization)を提案する。 S-GRPOは、模擬学習の指導を選好最適化の多軌道探索に統合する。 監督ファインチューニング(SFT)と強化学習(RL)のギャップを優雅に埋める
  論文  参考訳（メタデータ） (2026-04-17T08:39:07Z)
• Out-of-Support Generalisation via Weight Space Sequence Modelling [1.6921396880325779]
  我々は、OoS一般化問題を重み空間におけるシーケンスモデリングタスクとして再構成する。 我々の枠組みは、明示的な帰納バイアスを必要とせず、妥当で、解釈可能で、不確実性を考慮した予測をもたらす。 これらの結果は、安全クリティカルな応用における人工知能の普及に重要な意味を持つ。
  論文  参考訳（メタデータ） (2026-02-14T01:51:54Z)
• Enhancing Generalization of Depth Estimation Foundation Model via Weakly-Supervised Adaptation with Regularization [21.788680301776207]
  WeSTAR(Weakly supervised Self-Training Adaptation with Regularization)を提案する。 まず、構造的自己超越の主源として、密集した自己学習目標を採用する。 さらにロバスト性を改善するために,意味論的に認識された階層的正規化を導入する。
  論文  参考訳（メタデータ） (2025-11-18T08:16:16Z)
• Weak-to-Strong Generalization with Failure Trajectories: A Tree-based Approach to Elicit Optimal Policy in Strong Models [26.393123295267642]
  W2SG(Wak-to-Strong generalization)は、弱いモデルから監督された強いモデルの完全な能力を引き出す新しい傾向である。 我々は、弱いモデルによって生成された中間作用の軌跡を持つ強いモデルを微調整する。 我々の経験的評価は、多種多様なタスク領域にわたる推論と意思決定能力を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2025-07-25T00:17:09Z)
• On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
  教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。 本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。 この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
  論文  参考訳（メタデータ） (2024-03-11T16:23:42Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Stochastic Training is Not Necessary for Generalization [57.04880404584737]
  勾配降下の暗黙的な正則化(SGD)は、ニューラルネットワークで観測される印象的な一般化の振る舞いに基礎的であると広く信じられている。 本研究では,SGDと同等のCIFAR-10において,非確率的フルバッチトレーニングが強力な性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-09-29T00:50:00Z)
• On the Generalization of Stochastic Gradient Descent with Momentum [58.900860437254885]
  まず,アルゴリズムの安定性が一般化保証の確立に失敗する凸損失関数が存在することを示す。 滑らかなリプシッツ損失関数に対して、修正モーメントに基づく更新規則を解析し、一般化誤差の上界を認めることを示す。 強凸損失関数の特別な場合において、標準 SGDM の複数のエポックが SGDEM の特別な形式として一般化されるような運動量の範囲を見出す。
  論文  参考訳（メタデータ） (2021-02-26T18:58:29Z)
• On the Generalization of Stochastic Gradient Descent with Momentum [84.54924994010703]
  運動量に基づく勾配降下(SGD)の加速変種は、機械学習モデルを訓練する際に広く用いられる。 まず,標準重球運動量(SGDM)を持つSGDの複数のエポックに対する安定性ギャップが非有界となる凸損失関数が存在することを示す。 滑らかなリプシッツ損失関数に対しては、修正モーメントベースの更新規則、すなわち、幅広いステップサイズで初期運動量(SGDEM)を解析する。
  論文  参考訳（メタデータ） (2018-09-12T17:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。