DementiaCare-Bench: A Modality-Validated Video Benchmark
Abstractの概要
DementiaCare-Benchは、9つの行動・心理症状カテゴリにわたる56本の公開専門トレーニング動画を94本のクリップに分割して構築された、認知症介護向け動画質問応答ベンチマークです。本ベンチマークは視覚的知覚、時間的・因果的推論、臨床推論、比較分析にまたがる2,023問の多肢選択式質問を含み、臨床的主張は文字起こしの証拠に基づいています。主な方法論的特徴はモダリティ検証であり、すべての質問がフレームなし、単一フレーム、シャッフルフレーム、順序付きフレームの各条件下でテストされ、動画への実際の依存度が想定ではなく実測されます。この検証により意図された時間的要求と検証された時間的要求の間に大きなギャップがあることが明らかになり、介護の文脈において動画言語モデルが視覚的証拠を真に活用しているかを評価するための厳密なテストベッドを提供します。
新規性
本論文は、設計意図に依存するのではなく、解決に必要な最小限の視覚情報によって各質問を証明する体系的なモダリティ検証を備えた認知症介護動画ベンチマークを導入しています。また、介護者の対応の適切性を評価するためのペアクリップ構造を確立し、言語事前分布のショートカットを軽減するために不一致拒絶ネガティブサンプルで学習させた軽量なファインチューニング手法DemCare-VLMを提案しています。
成果
12の動画言語モデルの評価により、高い総合スコアの大部分はテキストのみの事前分布によって維持されており、順序付きフレームが必要と検証された質問では平均精度が約17ポイント低下することが示されました。モダリティ調査では、質問の77.7%が順序付き動画を必要とするよう作成されていたものの、実際に必要としたのは34.8%にすぎないことが明らかになりました。DemCare-VLMファインチューニングを適用したところ、ホールドアウト分割における動画依存度が-3.3から+4.5ポイントへとシフトし、視覚クリップの証拠への依存が高まったことが示されました。
論文の注目点
- DementiaCare-Benchは、56本の専門介護トレーニング動画から抽出された94本のクリップで構成され、9つのBPSDカテゴリと証拠に基づく2,023問の多肢選択式質問を網羅している。
- 4つの視覚条件下での質問ごとのモダリティ検証により、名目上は時間的情報を要する質問の半数以上が、縮小された視覚入力または視覚入力なしで回答可能であることが実証された。
- 現在の最先端VLMは介護タスクにおいて言語事前分布を過度に利用しているが、不一致ネガティブを用いたLoRAファインチューニング（DemCare-VLM）により視覚的文脈へのモデル依存性が効果的に向上する。