Revisiting N2DCG: An Empirically Grounded Reformulation of Carousel Recommendation Evaluation
Abstractの概要
本論文は、カルーセル型推薦インターフェース向けにNDCGを2次元へと拡張したN2DCGを再検証し、従来の定式化が実際のカルーセルレイアウトでは成り立たない前提を置いていると主張しています。著者らは2つの核心的な問題を特定しました。正規化に用いられる制約のない理想ランキングがカルーセル行のカテゴリ制約に違反し得ること、そして割引関数が水平スワイプ後に実証的に観察される閲覧行動を反映していないことです。著者らは、理想的なレイアウトを行ごとの有効なカテゴリに制約し、いくつかのアクション対応バリアントを備えた反転Fパターン割引を導入する再定式化された評価指標を提案しています。この手法は、RecGazeアイトラッキングデータセットおよびシミュレーションによるレイアウトのペアワイズ比較を用いて検証されています。
新規性
本論文の主な新規性は、カルーセルインターフェース向けにカテゴリを考慮し実証に基づいたN2DCGの再定式化を行った点です。各行がカテゴリ境界を遵守する有効なレイアウトに理想ランキングを制約し、アイトラッキング研究で観察された視線シフトを反映する反転Fパターン割引関数を導入しています。
成果
RecGazeのホールドアウトアイトラッキングデータにおいて、提案された行-ページ割引定式化は、テストされたすべての割引バリアントの中で最も高い相関と最も低い平均二乗誤差を達成しました。20,000回の試行にわたるシミュレーションでは、再定式化された2DCGは正しいペアワイズのレイアウト選好の特定において従来の指標を一貫して上回り、二値および多値の関連性の両方で最大の正解差の閾値（Δ ≥ 0.10）において100.0%の精度に達しました。
論文の注目点
- 著者らは、従来のN2DCGの正規化が、各行が単一カテゴリのアイテムを含むという要件を無視しているため、カルーセルインターフェースにおいて無効になり得ることを示しています。
- スワイプ後のカルーセルの後続ページで実証的に観察される右から左への視線リセットをモデル化するために、反転Fパターン割引を提案しています。
- 実データのアイトラッキングデータおよびシミュレーションによるレイアウト比較実験により、再定式化された指標がユーザーの閲覧行動をより適切に反映し、カルーセルレイアウトをより高精度にランク付けできることが示されています。