論文の概要: Representations Shape Weak-to-Strong Generalization: Theoretical Insights and Empirical Predictions

• arxiv url: http://arxiv.org/abs/2502.00620v2
• Date: Wed, 05 Feb 2025 00:36:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 11:04:52.670523
• Title: Representations Shape Weak-to-Strong Generalization: Theoretical Insights and Empirical Predictions
• Title（参考訳）: 表現形弱-ストロング一般化:理論的考察と経験的予測
• Authors: Yihao Xue, Jiping Li, Baharan Mirzasoleiman,
• Abstract要約: W2SG(Wak-to-Strong Generalization)は、人間が将来超人的な知性をどう導くかを理解するための重要なアナロジーである。 We show that W2SG can be characterized using kernels from the principal component of weak and strong model' internal representations。
• 参考スコア（独自算出の注目度）: 12.956498486569103
• License:
• Abstract: Weak-to-Strong Generalization (W2SG), where a weak model supervises a stronger one, serves as an important analogy for understanding how humans might guide superhuman intelligence in the future. Promising empirical results revealed that a strong model can surpass its weak supervisor. While recent work has offered theoretical insights into this phenomenon, a clear understanding of the interactions between weak and strong models that drive W2SG remains elusive. We investigate W2SG through a theoretical lens and show that it can be characterized using kernels derived from the principal components of weak and strong models' internal representations. These kernels can be used to define a space that, at a high level, captures what the weak model is unable to learn but is learnable by the strong model. The projection of labels onto this space quantifies how much the strong model falls short of its full potential due to weak supervision. This characterization also provides insights into how certain errors in weak supervision can be corrected by the strong model, regardless of overfitting. Our theory has significant practical implications, providing a representation-based metric that predicts W2SG performance trends without requiring labels, as shown in experiments on molecular predictions with transformers and 5 NLP tasks involving 52 LLMs.
• Abstract（参考訳）: W2SG(Wak-to-Strong Generalization, W2SG)は、弱いモデルが強いモデルを監督し、人間が将来超人的な知性をどう導くかを理解するための重要なアナロジーである。 実験結果の証明により、強いモデルが弱いスーパーバイザーを超えることが判明した。 近年の研究ではこの現象に関する理論的知見が提示されているが、W2SGを駆動する弱いモデルと強いモデルの間の相互作用の明確な理解はいまだ解明されていない。 理論レンズを用いてW2SGを解析し、弱いモデルと強いモデルの内部表現の主成分から派生したカーネルを用いて特徴付けることができることを示す。 これらのカーネルは、高いレベルで弱いモデルが学べないものの、強いモデルで学べる空間を定義するのに使うことができる。 この空間上のラベルの射影は、弱い監督のため、強いモデルがその潜在能力の限界をどの程度下回っているかを測る。 この特徴付けはまた、過度な適合にかかわらず、弱い監督のエラーが強いモデルによってどのように修正できるかについての洞察を与える。 我々の理論は,52個のLDMを含む5個のNLPタスクとトランスフォーマーを用いた分子予測実験において,ラベルを必要とせずにW2SG性能の傾向を予測する表現に基づく指標として,重要な実用的意味を持っている。

関連論文リスト

• Understanding the Capabilities and Limitations of Weak-to-Strong Generalization [40.793180521446466]
  弱強一般化に関する理論的知見を提供する。 弱いモデルは強力な一般化性能を示し、よく校正された予測を維持するべきである。 我々は、Charikar et al. (2024) の業績を、Kullback-Leibler の発散に基づく損失関数に拡張する。
  論文  参考訳（メタデータ） (2025-02-03T15:48:28Z)
• Relating Misfit to Gain in Weak-to-Strong Generalization Beyond the Squared Loss [4.4505368723466585]
  強クラスにおける$k$強モデルの凸結合に対する弱強一般化について検討する。 同様の不適合性に基づく性能向上のキャラクタリゼーションが得られ、$k$が大きくなると消滅する追加のエラー項が現れる。
  論文  参考訳（メタデータ） (2025-01-31T12:57:58Z)
• Debate Helps Weak-to-Strong Generalization [68.70065254564642]
  我々は,強い事前訓練モデルを用いて人間の監督を改善する方法について検討し,弱い人間の監督を増強した強いモデルを監督する。 議論は、信頼できない強力なモデルから信頼できる情報を抽出する弱いモデルを支援することができる。 OpenAIの弱いNLPベンチマークの実験では、組み合わせアプローチがアライメントを改善することが示されている。
  論文  参考訳（メタデータ） (2025-01-21T05:36:13Z)
• Super(ficial)-alignment: Strong Models May Deceive Weak Models in Weak-to-Strong Generalization [68.62228569439478]
  弱い着想の問題が存在するかどうかを考察する。 弱いモデルと強いモデルの間の能力ギャップが増大するにつれて、偽造は増大する。 私たちの研究は、スーパーアライメントの真の信頼性にもっと注意を払う必要があることを強調します。
  論文  参考訳（メタデータ） (2024-06-17T11:36:39Z)
• Quantifying the Gain in Weak-to-Strong Generalization [14.453654853392619]
  より弱いモデルよりも強いモデルによって達成される性能の向上は、弱いモデルによって生成されるラベル上の強モデルによって引き起こされる不適合誤差によって定量化されることを示す。 例えば、強いモデルが弱いモデルよりも改善する量を予測することができ、また、そのミスフィットエラーに基づいて、強いモデルをトレーニングするために異なる弱いモデルを選択することができる。
  論文  参考訳（メタデータ） (2024-05-24T00:14:16Z)
• Vision Superalignment: Weak-to-Strong Generalization for Vision Foundation Models [55.919653720979824]
  本稿では、より弱いモデルを用いてより強いモデルを監督する弱強一般化の概念に焦点を当てる。 弱強監督のための新規かつ適応的に調整可能な損失関数を提案する。 提案手法は, 強い一般化によって設定された性能ベンチマークを超えるだけでなく, データセット全体を用いた微調整の強いモデルの結果を上回る。
  論文  参考訳（メタデータ） (2024-02-06T06:30:34Z)
• Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision [55.196139002977525]
  超人的モデルは、人間が確実に評価することが難しい複雑な方法で振る舞う。 弱いモデルの監督は、より強力なモデルの完全な能力を引き出すことができるか? 弱いモデルが生成したラベルに強い事前訓練されたモデルを鼻で微調整すると、弱いスーパーバイザーよりも一貫して性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-12-14T23:07:33Z)
• Does Deep Learning Learn to Abstract? A Systematic Probing Framework [69.2366890742283]
  抽象化はディープラーニングモデルにとって望ましい機能であり、具体的なインスタンスから抽象概念を誘導し、学習コンテキストを超えて柔軟に適用することを意味する。 本稿では,伝達可能性の観点から,ディープラーニングモデルの抽象化能力を検討するための体系的探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-23T12:50:02Z)
• Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
  本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。 提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
  論文  参考訳（メタデータ） (2021-11-25T05:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。