論文の概要: On Weak-to-Strong Generalization and f-Divergence

• arxiv url: http://arxiv.org/abs/2506.03109v1
• Date: Tue, 03 Jun 2025 17:40:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.897689
• Title: On Weak-to-Strong Generalization and f-Divergence
• Title（参考訳）: 弱-ストロング一般化とf-ディバージェンスについて
• Authors: Wei Yao, Gengze Xu, Huayi Tang, Wenkai Yang, Donglin Di, Ziqiao Wang, Yong Liu,
• Abstract要約: W2SG(Weak-to-strong generalization)は、強力な事前学習モデルの能力を刺激するための有望なパラダイムとして登場した。 W2SGにおける情報理論損失関数フレームワークとして$f$-divergenceを導入する。 我々は、KL分散のような広く使われているメトリクスを一般化する$f$-divergence損失が、実際に強いモデルの一般化と耐雑音性を効果的に改善することを示した。
• 参考スコア（独自算出の注目度）: 23.062111583403095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weak-to-strong generalization (W2SG) has emerged as a promising paradigm for stimulating the capabilities of strong pre-trained models by leveraging supervision from weaker supervisors. To improve the performance of the strong model, existing methods often require additional weak models or complex procedures, leading to substantial computational and memory overhead. Motivated by the effectiveness of $f$-divergence loss in various machine learning domains, we introduce $f$-divergence as an information-theoretic loss function framework in W2SG. Our theoretical analysis reveals fundamental limitations and equivalence of different $f$-divergence losses in W2SG, supported by sample complexity bounds and information-theoretic insights. We empirically demonstrate that $f$-divergence loss, which generalizes widely-used metrics like KL divergence, effectively improves generalization and noise tolerance of the strong model in practice.
• Abstract（参考訳）: W2SG(Weak-to-strong generalization)は、より弱いスーパーバイザーの監督を活用することで、強力な事前訓練モデルの能力を高めるための有望なパラダイムとして登場した。 強みモデルの性能を改善するために、既存の手法ではより弱いモデルや複雑な手順を必要とすることが多く、計算とメモリのオーバーヘッドが大幅に増大する。 各種機械学習領域における$f$-divergence損失の有効性から,W2SGにおける情報理論的損失関数フレームワークとして$f$-divergenceを導入する。 我々の理論的分析は、W2SGにおける異なる$f$-divergence損失の基本的な制限と等価性を明らかにし、サンプルの複雑性境界と情報理論的な洞察によって支えられている。 我々は、KL分散のような広く使われているメトリクスを一般化する$f$-divergence損失が、実際に強いモデルの一般化と耐雑音性を効果的に改善することを示した。

関連論文リスト

• A Flat Minima Perspective on Understanding Augmentations and Model Robustness [4.297070083645049]
  モデル強化がモデル堅牢性をいかに高めるかを明らかにするため、統一的な理論フレームワークを提供する。 我々の研究は従来の研究から、我々の分析が既存の増補手法の多くを幅広く包含しているという点で分岐している。 我々は、既存の共通汚職と敵対的堅牢性ベンチマークのシミュレーションを通じて、我々の理論を裏付ける。
  論文  参考訳（メタデータ） (2025-05-30T13:40:44Z)
• Relating Misfit to Gain in Weak-to-Strong Generalization Beyond the Squared Loss [4.4505368723466585]
  強クラスにおける$k$強モデルの凸結合に対する弱強一般化について検討する。 同様の不適合性に基づく性能向上のキャラクタリゼーションが得られ、$k$が大きくなると消滅する追加のエラー項が現れる。
  論文  参考訳（メタデータ） (2025-01-31T12:57:58Z)
• Understanding Adversarially Robust Generalization via Weight-Curvature Index [3.096869664709865]
  We propose a novel perspective to decipherally robust generalization through the Lens of the Weight-Curvature Index (WCI)。 提案したWCIは、重量行列のフロベニウスノルムとヘッセン行列のトレースを用いて、逆摂動に対するモデルの脆弱性を定量化する。 私たちの研究は、よりレジリエントなディープラーニングモデルを設計し、信頼性とセキュリティを高める上で、重要な洞察を提供します。
  論文  参考訳（メタデータ） (2024-10-10T08:34:43Z)
• QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
  領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。 我々は、QT-DoGが様々なデータセット、アーキテクチャ、量子化アルゴリズムにまたがって一般化することを実証する。
  論文  参考訳（メタデータ） (2024-10-08T13:21:48Z)
• Model-Based RL for Mean-Field Games is not Statistically Harder than Single-Agent RL [57.745700271150454]
  モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。 本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
  論文  参考訳（メタデータ） (2024-02-08T14:54:47Z)
• On the Generalization of Stochastic Gradient Descent with Momentum [58.900860437254885]
  まず,アルゴリズムの安定性が一般化保証の確立に失敗する凸損失関数が存在することを示す。 滑らかなリプシッツ損失関数に対して、修正モーメントに基づく更新規則を解析し、一般化誤差の上界を認めることを示す。 強凸損失関数の特別な場合において、標準 SGDM の複数のエポックが SGDEM の特別な形式として一般化されるような運動量の範囲を見出す。
  論文  参考訳（メタデータ） (2021-02-26T18:58:29Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)
• On the Generalization of Stochastic Gradient Descent with Momentum [84.54924994010703]
  運動量に基づく勾配降下(SGD)の加速変種は、機械学習モデルを訓練する際に広く用いられる。 まず,標準重球運動量(SGDM)を持つSGDの複数のエポックに対する安定性ギャップが非有界となる凸損失関数が存在することを示す。 滑らかなリプシッツ損失関数に対しては、修正モーメントベースの更新規則、すなわち、幅広いステップサイズで初期運動量(SGDEM)を解析する。
  論文  参考訳（メタデータ） (2018-09-12T17:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。