ReGround: Grounding Reviewer Comments in Multimodal Evidence
Abstractの概要
本論文では、査読者のコメントを匿名の科学論文投稿原稿内の特定の根拠にグラウンディングするためのデータセット「ReGround」を導入します。本データセットは、3,656本の論文にわたる10,267件の査読者コメントを、段落、セクション、図、表にまたがる16,274件の根拠インスタンスに紐付けています。著者らは、著者のリバッタルにおける明示的な論文参照を利用し、グラウンディングをマルチモーダルな根拠に対する検索タスクとして定式化することで、これらのリンクを自動的に抽出しました。スパース、デンス、クロスエンコーダ、LLMベース、および視覚検索モデルにわたるベンチマークにより、具体性の低い査読者コメントをグラウンディングする際の主要な失敗要因が明らかになりました。
新規性
主な新規性は、改訂後の原稿ではなく元の匿名投稿原稿内の詳細な根拠に、自然に発生した査読者コメントを紐付ける大規模なマルチモーダルベンチマークである点にあります。また本研究では、査読コメントのグラウンディングのための高精度な教師データとして、著者リバッタル内の明示的な論文参照を活用する自動データセット構築パイプラインも導入しています。
成果
異種混合の論文コンテンツ全体に対する統合的なテキスト検索は困難であることが判明し、最高性能のモデル（Qwen-3 30B Instruct）でもRecall@10は21.15、MRRは10.87にとどまりました。正解の根拠タイプ情報を提供するとすべてのモデルで検索性能が大幅に向上し、根拠タイプの推論が主要な性能ボトルネックであることが示されました。図や表に関しては、キャプションで補強されたマルチモーダル画像検索が画像のみの検索を上回り、テキスト検索と視覚検索は相補的な事例において成功を収めています。
論文の注目点
- ReGroundは、匿名の元投稿論文における段落、セクション、図、表を網羅し、3,656本の論文にわたる16,274件の根拠ユニットに紐付けられた10,267件の査読者コメントを含んでいる。
- 本データセットは、著者リバッタル内の明示的な論文参照を検出し、リバッタルの文を査読者コメントと照合し、元のPDF内の参照を解決することによって自動的に構築されている。
- 検索実験により、論文全体に対する統合検索の性能が低いこと、根拠タイプのルーティングが極めて重要なボトルネックであること、視覚シグナルがテキスト単体では捉えられない相補的な情報を提供することが示された。