Improving Instruction Hierarchy by Learning from Goal-Goal Conflicts
Abstractの概要
本論文は、従来の命令階層（IH）データセットで看過されていた対立タイプである「目標対目標の対立」に着目し、大規模言語モデルにおける命令階層の学習を研究しています。著者らはタスクを目標と制約に分解して3種類の対立タイプを特定し、既存のOpenAIやNVIDIAのIHトレーニングセットは制約関連の対立を網羅しているものの、競合する目標間の対立を見落としていると論じています。この課題に対処するため、決定論的に実行可能なテキスト処理命令を用いて9,544件の合成目標対目標対立の選好ペアを構築し、DPOによりQwen3.5-9BおよびGemma4-12B-itをファインチューニングしました。その後、ルール遵守、タスク実行、安全性防御、ツール使用を網羅する4つのIHベンチマークへの転移性と、対立のない8つのベンチマークでの実用性を評価しています。
新規性
主な新規性は、命令階層の教師データにおける欠落カテゴリとして目標対目標の対立を特定し、明示的な学習を行った点にあります。また、ペアとなるテキスト処理命令を実行することで望ましい出力と望ましくない出力を決定論的に計算する、検証可能なデータ構築スキームを導入した点も特徴です。
成果
目標対目標の対立データで学習することで、未知の実世界IHベンチマーク全体における平均対立耐性率がQwen3.5-9Bで34.3ポイント、Gemma4-12B-itで19.4ポイント向上しました。既存のHieraSuiteサブセットに目標対目標データを追加した場合、既存の対立データのみで学習した際と比較して、平均対立耐性がそれぞれさらに18.0ポイント、10.5ポイント向上しました。これらのIHにおける向上を達成しつつも、対立のない8つのベンチマークにおける平均実用性の変化はわずかでした。
論文の注目点
- 既存の命令階層トレーニングセットには目標対目標の対立が含まれておらず、著者らはこれが競合する命令間の優先順位を解決するための重要な教師データ源であると主張しています。
- 高優先度のシステムメッセージと低優先度のユーザーメッセージに対立するテキスト処理命令をそれぞれ配置することで9,544件の決定論的な選好ペアを生成し、正解ラベルをプログラムで厳密に計算可能にしました。
- 4つのIHベンチマークにおいて、目標対目標の学習は対立処理能力を向上させて既存の制約ベースの学習を補完し、対立のない実用性評価への影響もわずかな平均変化にとどまりました。