Ladders of Thought: A Self-Evolving Curriculum of Progressively Simplified Reasoning Traces
Abstractの概要
本論文では、段階的な問題の書き換えと適応型カリキュラムを組み合わせることで、小・中規模言語モデルの推論能力を向上させる学習フレームワークであるLadders-of-Thought（LoT）を提案しています。この手法は、前提の一部を中間結論に置き換えることで推論問題を意味的に忠実かつより平易なバリアントへと書き換え、推定された推論ステップ数を用いて難易度を付与します。これら書き換えられた事例は難易度バケットにグループ化され、学習の進捗を最大化するバケットを重視する自己進化型のマルチアームバンディットスケジューラによってサンプリングされます。1Bから8Bのモデルを用いた数学およびマルチホップ推論タスクの実験において、LoTは実行時のオーバーヘッドを抑えつつ、標準的なChain-of-Thought知識蒸留を一貫して上回り、特に分布外の算術ベンチマークで顕著な改善を示しました。
新規性
特徴的なアイデアは、元の推論問題を個別のサブ問題に分解するのではなく、段階的な書き換えを通じて意味的等価性を維持したまま問題そのものを単純化することです。また、本論文ではこれら書き換えに基づく難易度ラダーを、ステップ数に基づく難易度尺度およびカリキュラム選択のための適応型バンディットスケジューラと組み合わせています。
成果
LoTは多くのベンチマークで標準的なChain-of-Thought知識蒸留を一貫して上回り、AddSub（OPT-2.7Bで+32.11ポイント）やSVAMP（OPT-2.7Bで+25.09ポイント）などの算術転移タスクで特に大幅な向上を達成しました。また、GSM8KやEntailmentBankにおけるドメイン内性能もわずかに向上させ、QASCやStrategyQAでの顕著な改善を含むマルチホップ推論においてもデータセット依存ながら強力な向上を示しました。アブレーション解析により、適度な書き換え深度が最も効果的であること、自己進化型カリキュラムが固定スケジュールよりも高速に収束し高い精度に達すること、そしてスケジューラの実行時オーバーヘッドがわずか3〜8%にとどまることが示されています。
論文の注目点
- LoTは、各問題を意味的に忠実かつより平易なバリアントへと段階的に書き換え、ステップ数に基づく難易度で整理することでカリキュラムを構築する。
- 1B〜8Bの生徒モデルにおいて、この手法は分布外の算術汎化で最も顕著な効果を示す一方、マルチホップ推論での向上は肯定的であるもののデータセット間でばらつきがある。
- 適応型スケジューリングが重要であり、自己進化型バンディットカリキュラムは均一および段階的カリキュラムを上回る一方、過度に深い書き換えは性能を低下させる可能性がある。