論文の概要: Quantifying the Gain in Weak-to-Strong Generalization

• arxiv url: http://arxiv.org/abs/2405.15116v2
• Date: Wed, 23 Oct 2024 03:55:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:53:34.810819
• Title: Quantifying the Gain in Weak-to-Strong Generalization
• Title（参考訳）: 弱-強一般化における利得の定量化
• Authors: Moses Charikar, Chirag Pabbaraju, Kirankumar Shiragur,
• Abstract要約: より弱いモデルよりも強いモデルによって達成される性能の向上は、弱いモデルによって生成されるラベル上の強モデルによって引き起こされる不適合誤差によって定量化されることを示す。 例えば、強いモデルが弱いモデルよりも改善する量を予測することができ、また、そのミスフィットエラーに基づいて、強いモデルをトレーニングするために異なる弱いモデルを選択することができる。
• 参考スコア（独自算出の注目度）: 14.453654853392619
• License:
• Abstract: Recent advances in large language models have shown capabilities that are extraordinary and near-superhuman. These models operate with such complexity that reliably evaluating and aligning them proves challenging for humans. This leads to the natural question: can guidance from weak models (like humans) adequately direct the capabilities of strong models? In a recent and somewhat surprising work, Burns et al. (2023) empirically demonstrated that when strong models (like GPT-4) are finetuned using labels generated by weak supervisors (like GPT-2), the strong models outperform their weaker counterparts -- a phenomenon they term weak-to-strong generalization. In this work, we present a theoretical framework for understanding weak-to-strong generalization. Specifically, we show that the improvement in performance achieved by strong models over their weaker counterparts is quantified by the misfit error incurred by the strong model on labels generated by the weaker model. Our theory reveals several curious algorithmic insights. For instance, we can predict the amount by which the strong model will improve over the weak model, and also choose among different weak models to train the strong model, based on its misfit error. We validate our theoretical findings through various empirical assessments.
• Abstract（参考訳）: 大規模言語モデルの最近の進歩は、異常で超人に近い能力を示している。 これらのモデルはそのような複雑さで動作し、それらを確実に評価し、調整することは、人間にとって難しいことを証明します。 弱いモデル(人間のような)からのガイダンスは、強いモデルの能力を適切に導くことができますか? バーンズらの研究(2023年)では、強いモデル(GPT-4など)が弱いスーパーバイザー(GPT-2など)が生成するラベルを使って微調整されると、強いモデルはより弱いモデルよりも優れていることを実証的に証明した。 本研究では、弱強一般化を理解するための理論的枠組みを提案する。 具体的には、弱いモデルで生成されたラベル上で、強みモデルによって生じる誤差によって、強みモデルによって達成される性能の向上が定量化されることを示す。 私たちの理論にはいくつかの興味深いアルゴリズムの洞察が浮かび上がっている。 例えば、強いモデルが弱いモデルよりも改善する量を予測することができ、また、そのミスフィットエラーに基づいて、強いモデルをトレーニングするために異なる弱いモデルを選択することができる。 様々な経験的評価を通じて理論的知見を検証した。

関連論文リスト

• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Representations Shape Weak-to-Strong Generalization: Theoretical Insights and Empirical Predictions [12.956498486569103]
  W2SG(Wak-to-Strong Generalization)は、人間が将来超人的な知性をどう導くかを理解するための重要なアナロジーである。 We show that W2SG can be characterized using kernels from the principal component of weak and strong model' internal representations。
  論文  参考訳（メタデータ） (2025-02-02T01:11:51Z)
• Relating Misfit to Gain in Weak-to-Strong Generalization Beyond the Squared Loss [4.4505368723466585]
  強クラスにおける$k$強モデルの凸結合に対する弱強一般化について検討する。 同様の不適合性に基づく性能向上のキャラクタリゼーションが得られ、$k$が大きくなると消滅する追加のエラー項が現れる。
  論文  参考訳（メタデータ） (2025-01-31T12:57:58Z)
• Debate Helps Weak-to-Strong Generalization [68.70065254564642]
  我々は,強い事前訓練モデルを用いて人間の監督を改善する方法について検討し,弱い人間の監督を増強した強いモデルを監督する。 議論は、信頼できない強力なモデルから信頼できる情報を抽出する弱いモデルを支援することができる。 OpenAIの弱いNLPベンチマークの実験では、組み合わせアプローチがアライメントを改善することが示されている。
  論文  参考訳（メタデータ） (2025-01-21T05:36:13Z)
• Super(ficial)-alignment: Strong Models May Deceive Weak Models in Weak-to-Strong Generalization [68.62228569439478]
  弱い着想の問題が存在するかどうかを考察する。 弱いモデルと強いモデルの間の能力ギャップが増大するにつれて、偽造は増大する。 私たちの研究は、スーパーアライメントの真の信頼性にもっと注意を払う必要があることを強調します。
  論文  参考訳（メタデータ） (2024-06-17T11:36:39Z)
• Vision Superalignment: Weak-to-Strong Generalization for Vision Foundation Models [55.919653720979824]
  本稿では、より弱いモデルを用いてより強いモデルを監督する弱強一般化の概念に焦点を当てる。 弱強監督のための新規かつ適応的に調整可能な損失関数を提案する。 提案手法は, 強い一般化によって設定された性能ベンチマークを超えるだけでなく, データセット全体を用いた微調整の強いモデルの結果を上回る。
  論文  参考訳（メタデータ） (2024-02-06T06:30:34Z)
• Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision [55.196139002977525]
  超人的モデルは、人間が確実に評価することが難しい複雑な方法で振る舞う。 弱いモデルの監督は、より強力なモデルの完全な能力を引き出すことができるか? 弱いモデルが生成したラベルに強い事前訓練されたモデルを鼻で微調整すると、弱いスーパーバイザーよりも一貫して性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-12-14T23:07:33Z)
• Generative Modeling Helps Weak Supervision (and Vice Versa) [87.62271390571837]
  本稿では,弱い監督と生成的敵ネットワークを融合したモデルを提案する。 弱い監督によるラベル推定と並行して、データの離散変数をキャプチャする。 これは、弱い教師付き合成画像と擬似ラベルによるデータ拡張を可能にする最初のアプローチである。
  論文  参考訳（メタデータ） (2022-03-22T20:24:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。