Investigating Knowledge Transfer Across Interactive Dialogue Games
Abstractの概要
本論文は、clembenchスイートのタスクを用いて共通のLLMをファインチューニングし、タスク間での性能を評価することにより、対話型ゲーム間で知識がどのように転移するかを調査しています。著者らはTaskonomyフレームワークを適応させて専門家モデルから得られた転移行列から有向転移タクソノミーを構築し、タスクベクトルに基づく重み空間分析でこれを補完しています。データセットは17のテキスト版clembenchゲームから構築され、フィルタリングとバランス調整を経て9ゲームにわたる15の役割固有タスクに絞り込まれました。これらの分析を通じて、本論文はどのゲームが効果的な転移元として機能するか、またパラメータ空間の類似性によってゲーム間の転移挙動を説明できるかを検証しています。
新規性
本研究は、静的なベンチマークや個別のタスクペアではなく、広範な対話型ゲーム群に対して構造化されたTaskonomy形式の転移最適化フレームワークを体系的に適用しています。さらに、行動に基づく転移タクソノミーとタスクベクトルの部分空間分析を組み合わせ、パラメータ空間の適応が実証的な転移性と一致するかどうかを評価しています。
成果
実験結果により、視覚空間的な対話ゲームは訓練予算の多寡を問わず言語ゲームよりも効果的に転移し、adventuregameなどのタスクは強力な転移元として機能して自己訓練以上にターゲットタスクの性能を向上させる場合があることが示されました。発見された転移タクソノミーは、ランダムに抽出された転移ベースラインを大幅に上回っています。一方で、重み空間におけるタスクベクトルの類似度は転移性ではなくゲームや役割の同一性を反映しており、対称的なパラメータ指標では方向性のある転移パターンを予測できないことが明らかになりました。
論文の注目点
- ベースラインLLMに対する品質スコアの向上量を用いて転移元タスクのサブセットを最適化し、9つのclembenchゲームにおける15の役割固有タスクを対象とした転移性タクソノミーを構築した。
- 視覚空間タスクは各種予算レジーム全体で最も強力なゲーム間転移性を示し、言語ゲームにも良好に汎化する汎用的な能力を提供した。
- タスクベクトル表現は同一ゲーム内の役割間では強く一致するものの、対称的なパラメータ空間の類似度は非対称なタスク転移性を確実には予測しないことが判明した。