Multimodal QUD: Inquisitive Questions from Scientific Figures
Abstractの概要
本論文は、言語学的な議論中の問い（QUD）フレームワークをテキストのみの談話からマルチモーダルな科学的談話へと拡張し、図とその周囲の論文コンテキストが共同で暗黙の問いを引き起こす状況を扱う。著者らは、NLP、機械学習、天文学の56本の論文にわたる245の図から得た1,250のマルチモーダルQUDからなるデータセットMQUDを導入し、17名の原著者による7次元のアノテーションを付与した。また、視覚言語モデルが汎用的な視覚入力に反応するのではなく、図の内容に真に基づいているかを検証するための2つの再利用可能な診断指標——相対情報利得（rIG）と論文内図交換——を提案している。MQUDによるVLMのファインチューニングにより、質問生成が汎用的な低レベルの視覚的質問から、内容固有で視覚的に根拠のある科学的質問へと移行することが示された。
新規性
主な新規性は、QUD理論をマルチモーダルな科学的談話に拡張し、図をテキスト単独では引き起こされない暗黙の問いを提起する談話参加者として扱う点にある。また、図とテキストの相互作用を対象とした初のデータセットMQUDを導入し、検証済みの図固有性と原著者による重要度判定を備え、さらに相対情報利得および論文内図交換テストという2つの接地診断指標を提案している。
成果
MQUDによるQwen3.5-9Bのファインチューニングにより、相対情報利得は0.60から0.97に向上し、図交換の挙動は汎用的な視覚入力バイアス（12%スワップ陽性）から内容固有の接地（75%スワップ陽性）へと移行し、論文非重複の評価セットでは82%のスワップ陽性を達成した。GPT-4oは図への感度（rIG 0.72）を示したが、内容固有の接地は弱かった（18%スワップ陽性）。LLM審査員による評価では、ファインチューニングモデルがベースモデルに対して深さ（75%）、図固有性（64%）、質問の多様性（78%）で優先された。
論文の注目点
- 本論文は、マルチモーダルQUDを科学的な図と論文コンテキストが共同で引き起こす問いとして形式化し、図駆動型の問い（比較、程度）とクロスモーダル推論を必要とする統合型の問い（原因、結果、手続き、概念）を区別している。
- MQUDは56本の論文にわたる245の図から得た1,250の検証済み質問を含み、重要度・図の有用性・回答の正確性を含む7次元のアノテーションが付与されており、703のQUDは17名の原著者によって領域専門家としてアノテーションされている。
- 提案された診断指標（rIGおよび図交換）は、教師ありファインチューニングがVLMを汎用的な視覚的質問の生成から内容固有で視覚的に根拠のある科学的質問の生成へと移行させることを実証しており、この能力はGPT-4oを含むプロンプティングのみでは達成できないことを示している。