Verifiable, Articulable, and Tacit Components of Preference
Abstractの概要
本論文は、人間の選好が明示的なルールによってどの程度捉えられ、何が言語化や検証の困難な要素として残るのかを調査している。コーディング、数学、法学、学術、ジャーナリズム、クリエイティブライティング、ユーモアの7ドメインにおける42のタスクにわたり、280万件のテキストと3億1700万件の人間の選好判断を含む大規模データセット「CreativePreferences」を導入している。著者らは、検証可能な指標モデル、言語化されたルーブリックに基づくモデル、高密度な全文選好モデルという3つのモデリング手法を評価し、指標発見、交絡除去、捕獲再捕獲法による限界値を用いて言語化可能性および検証可能性のギャップを定量化している。その結果、従来は検証可能と見なされていたドメインも含め、全ドメインにわたって実質的な言語化可能性と検証可能性のギャップが存在することを見出し、それらのギャップの要因と影響を検証している。
新規性
本研究は、新規のCreativePreferencesデータセットを用いて、選好を検証可能、言語化可能、および残余の構成要素へと大規模に分解するための体系的なドメイン横断型の測定フレームワークを導入している。また、自動指標発見、偽陽性特徴の監査、および未発見基準の性能への寄与を境界づける捕獲再捕獲推定を統合した測定パイプラインを開発している。
成果
評価されたすべてのドメインにおいて言語化可能性および検証可能性のギャップが観察され、査読やクリエイティブライティングで最大の言語化可能性ギャップが見られた一方、ユーモアは比較的言語化可能であるものの検証可能性は低かった。これらのギャップは、指標のスケーリング、プロンプトの最適化、より強力な判定モデル、代替の集約アーキテクチャに対しても頑健である。高密度な全体選好モデルは言語化モデルよりも人間の選択をより確実に反映し、言語化された基準のみに過度に最適化すると暗黙的な選好要素の喪失につながる。
論文の注目点
- CreativePreferencesは、7つの創造的および技術的ドメインにわたる280万件のテキストと42のタスクにおける3億1700万件の人間の選好判断を集約している。
- 著者らは選好を検証可能な指標、言語化可能なルーブリック、高密度な全体モデルに分解し、未発見指標の限界値と交絡除去監査を用いてギャップの境界を頑健に推定している。
- 言語化されたルーブリックや検証可能なチェックでは人間の選好を完全に復元することが一貫してできず、候補出力をランク付けする際に測定可能な選択の後悔が生じる。