Strategically Diverse Sampling for Self-Training
Abstractの概要
本論文は、大規模言語モデルにおける自己学習データの構築について調査し、反復サンプリングでは単なる表層的な形式や正しさだけでなく、問題解決アプローチを多様化させるべきであると論じています。著者らは、異なる決定経路をサンプリングするためにアプローチの階層ツリーを構築するGrootと、完全な回答生成の前に複数の代替アプローチを導出する言語化サンプリング（VS）の手法適応という、2つの戦略指向サンプリング技術を提案しています。これらを競技プログラミングおよび次章予測で評価し、直接生成性能、テスト時集約、強化学習の初期化を検証しました。その結果、戦略的に多様なデータによるファインチューニングは、温度引き上げや大規模な生成バジェット、さらにはるかに巨大な教師モデルからの蒸留を用いた独立同分布（IID）自己学習と比較しても、難関タスクにおいて優れた性能を発揮しました。
新規性
本研究は、正解性フィルタリングや教師モデルの規模に厳密に依存するのではなく、解法アプローチの戦略的多様性を自己学習データ構築の主要な設計原則として確立しました。方法論としては、階層的アプローチ生成を行うGrootを導入し、訓練データ合成時に戦略的計画と解法実行を分離するよう言語化サンプリングを適応させています。
成果
最先端のコーディングベンチマークにおいて、GrootやVSデータで訓練したモデルはpass@k指標でIID訓練ベースラインを大幅に上回り、再帰的自己集約や下流の強化学習における優れた初期化として機能しました。次章予測においても、標準的なIID訓練がわずかな改善にとどまるのに対し、戦略的多様性訓練は高品質な物語プランのカバレッジを大幅に拡大しました。さらに、4B生徒モデルによる戦略的に多様な誤りトレースでの自己学習は、235B教師モデルからのIID蒸留を凌駕しました。
論文の注目点
- GrootとVSは完全な解法の生成前に問題解決戦略を明示的に多様化させ、単一手法の表層的な違いではなく異なる決定経路を引き出す。
- 性能向上は困難な最先端タスクで顕著であり、戦略的サンプリングは温度引き上げや最大16倍の生成バジェットで拡張した標準的なIIDサンプリングを上回る。
- 生徒モデルが生成した多様な誤りトレースや多様な自己学習が235B教師モデルからのIIDデータを上回ることから、戦略的多様性は厳密な正解性や教師規模よりも極めて重要である。