Fugu-MT 論文翻訳(概要): Does Weak-to-strong Generalization Happen under Spurious Correlations?

論文の概要: Does Weak-to-strong Generalization Happen under Spurious Correlations?

arxiv url: http://arxiv.org/abs/2509.24005v1
Date: Sun, 28 Sep 2025 17:57:49 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-30 22:32:19.586869
Title: Does Weak-to-strong Generalization Happen under Spurious Correlations?
Title（参考訳）: 微妙な相関の下で弱強汎化が起こるか?
Authors: Chenruo Liu, Yijun Dong, Qi Lei,
Abstract要約: 弱体化(W2S)の一般化の鍵となる問題は、弱体化教師の下流課題において、弱体化教師の擬似ラベルを微調整する際、W2Sは起こるのか、失敗時にどのように改善するかである。 i) グループ不均衡のラベル付きデータに基づいて微調整された弱い教師と, (ii) グループ不均衡なラベル付きデータセットを, 少数派$eta_u$を持つ教師によって擬似ラベル付けされた。
参考スコア（独自算出の注目度）: 17.02943058643617
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We initiate a unified theoretical and algorithmic study of a key problem in weak-to-strong (W2S) generalization: when fine-tuning a strong pre-trained student with pseudolabels from a weaker teacher on a downstream task with spurious correlations, does W2S happen, and how to improve it upon failures? We consider two sources of spurious correlations caused by group imbalance: (i) a weak teacher fine-tuned on group-imbalanced labeled data with a minority group of fraction $\eta_\ell$, and (ii) a group-imbalanced unlabeled set pseudolabeled by the teacher with a minority group of fraction $\eta_u$. Theoretically, a precise characterization of W2S gain at the proportional asymptotic limit shows that W2S always happens with sufficient pseudolabels when $\eta_u = \eta_\ell$ but may fail when $\eta_u \ne \eta_\ell$, where W2S gain diminishes as $(\eta_u - \eta_\ell)^2$ increases. Our theory is corroborated by extensive experiments on various spurious correlation benchmarks and teacher-student pairs. To boost W2S performance upon failures, we further propose a simple, effective algorithmic remedy that retrains the strong student on its high-confidence data subset after W2S fine-tuning. Our algorithm is group-label-free and achieves consistent, substantial improvements over vanilla W2S fine-tuning.
Abstract（参考訳）: 弱体化(W2S)の一般化における鍵問題に関する一貫した理論的・アルゴリズム的な研究を開始する。弱体化教師から擬似ラベルで訓練済みの強い学生を、素早い相関で下流のタスクで微調整する場合、W2Sは起こるのか、失敗時にどのように改善するか。グループ不均衡に起因する2つの素因を考察する。 (i)小数$\eta_\ell$の少数群を持つグループ不均衡ラベル付きデータに基づいて微調整された弱教師 (ii)小数$\eta_u$の少数群を持つ教師によって擬ラベル付けされた群不均衡な未ラベル集合。理論的には、比例漸近極限におけるW2Sゲインの正確な特徴づけは、W2Sが常に十分な擬ラベルを持つとき、$\eta_u = \eta_\ell$で成り立つが、$\eta_u \ne \eta_\ell$で失敗すると、W2Sゲインは$(\eta_u - \eta_\ell)^2$として減少する。我々の理論は、様々なスプリケートな相関ベンチマークと教師と学生のペアに関する広範な実験によって裏付けられている。障害時のW2S性能を向上させるために,W2S微調整後の高信頼データサブセット上で,強力な学生を訓練する,シンプルで効果的なアルゴリズム的治療法を提案する。我々のアルゴリズムはグループラベルなしであり、バニラW2Sファインチューニングよりも一貫した、実質的な改善を実現している。

論文の概要: Does Weak-to-strong Generalization Happen under Spurious Correlations?

関連論文リスト