論文の概要: DementiaCare-Bench: A Modality-Validated Video Benchmark
- arxiv url: http://arxiv.org/abs/2609.12929v1
- Date: Fri, 11 Sep 2026 14:52:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.790899
- Title: DementiaCare-Bench: A Modality-Validated Video Benchmark
- Title（参考訳）: DementiaCare-Bench: モダリティ検証ビデオベンチマーク
- Abstract要約: 認知症は世界中で推定5700万人に影響を与える。
ほとんどの家族にとって、ケアの最も難しい部分は記憶喪失ではなく、認知症の行動や心理的症状である。
DementiaCare-Bench: 9つのBPSDカテゴリの94クリップに区切られた、プロのケア用トレーニングビデオ56本を提示する。
- 参考スコア（独自算出の注目度）: 83.92703885588868
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dementia affects an estimated 57 million people worldwide, and for most families the hardest part of care is not memory loss but the behavioral and psychological symptoms of dementia (BPSD): agitation, wandering, resistance to care, sundowning. Understanding these symptoms requires more than recognizing the behavior itself; it also requires knowing what happened beforehand. The same behavior may call for a different response depending on its trigger. Video-language models (VLMs) could potentially support caregivers, yet no existing benchmark evaluates this capability. To fill this gap, we present DementiaCare-Bench: 56 professionally produced caregiver training videos segmented into 94 clips across nine BPSD categories, with 2023 questions generated by a multi-agent pipeline that grounds every clinical claim in a verbatim transcript span. Each question is then probed under four visual conditions and labelled by the least it requires, so its visual demand is measured rather than assumed. Measurement contradicts intent: we wrote 77.7% of the questions to require ordered frames, and 34.8% do. Across 12 current VLMs the pattern is uniform. The best reach 85% overall, but that average is carried by questions a language model can answer from clinical knowledge alone; accuracy falls by 17 points on average on questions that require the ordered clip, and a leading open model scores at chance on judging whether a caregiver's response was appropriate. A lightweight LoRA fine-tune, DemCare-VLM, moves video dependence from -3.3 to +4.5 points, so what the benchmark exposes can be repaired and not only measured.
- Abstract（参考訳）: 認知症は世界中で推定5700万人に影響を及ぼし、ほとんどの家族にとって最も難しいのは記憶喪失ではなく、認知症(BPSD)の行動と心理的症状である。
これらの症状を理解するには、行動自体を認識することよりも、事前に何が起こったかを知ることが必要である。
同じ振る舞いは、トリガーによって異なる応答を呼び出します。
ビデオ言語モデル(VLM)は介護者をサポートする可能性があるが、既存のベンチマークではこの機能を評価していない。
このギャップを埋めるために、DementiaCare-Bench:56は9つのBPSDカテゴリにわたる94のクリップに区切られたケア用トレーニングビデオを作成しました。
それぞれの質問は4つの視覚的条件の下で調査され、必要最小限にラベル付けされるので、その視覚的要求は仮定されるのではなく測定される。
私たちは77.7%の質問を順序付きフレームで書き、34.8%の質問をしました。
現在のVLMは12種類あるが、このパターンは均一である。
言語モデルは、注文されたクリップを必要とする質問に対して平均で17ポイント減少し、主要なオープンモデルは、介護者の反応が適切かどうかを判断する確率で得点する。
軽量のLoRAファインチューンであるDemCare-VLMは、ビデオ依存を-3.3点から+4.5点に移動させるため、ベンチマークが公開しているものは修復可能であり、測定されるだけではない。
関連論文リスト
- SDoH-Aware Narrative Anchoring Bias in Medical LLMs for Trustworthy Clinical Decision Support [0.0]
本稿は,SDoHを意識したナラティブアンカーバイアスとしてリスクを評価する。
私たちは,NarrativeShield SDoH MedQAという医療質問応答データセットを使用している。
最終実験では300の臨床ケースを使用し、8,100のモデル応答を生成する。
論文 参考訳（メタデータ） (2026-08-24T04:58:32Z) - Trivial Prompt Reframing Bypasses Safety Guardrails in Googleś MedGemma-4B [0.0]
オープンウェイト医療言語モデルは、患者向けおよび臨床支援アプリケーションの基礎として、ますます利用されている。
MedGemma-4B-itの技術的洗練を必要としない攻撃におけるギャップを定量化する。
論文 参考訳（メタデータ） (2026-07-09T18:31:43Z) - Measuring Epistemic Resilience of LLMs Under Misleading Medical Context [47.20527783144983]
大規模言語モデル(LLMs)は、医療ライセンス試験のエキスパートレベルスコアに到達した。
誤解を招く文脈が LLM が元来正しく答える質問に注入されると、彼らは正しい答えを放棄する。
本研究は, 逆行性てんかんのレジリエンス下での正しい判断を維持できる能力と, 測定にMedMisBenchを導入している。
論文 参考訳（メタデータ） (2026-06-10T16:27:26Z) - ClinicalBench: Stress-Testing Assertion-Aware Retrieval for Cross-Admission Clinical QA on MIMIC-IV [0.0]
推論ベンチマークはクリーンインプットの臨床的パフォーマンスを測定する。
我々は, 否定, 時間性, 家族反対の帰属が正しい答えを誤ったものに戻すことができる, 実際の EHR ノートを検索することで, 推論の段階を評価する。
EpiKGは、アサーションラベルと時間性タグを患者の知識グラフに格納し、質問意図による検索をルーティングする。
論文 参考訳（メタデータ） (2026-05-11T18:47:52Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳（メタデータ） (2026-04-09T10:26:32Z) - PSF-Med: Measuring and Explaining Paraphrase Sensitivity in Medical Vision Language Models [2.064612766965483]
19,748個の胸部X線を約92,000個のパラフレーズと組み合わせたベンチマークであるParaphrase Sensitivity Failure (PSF)-Medを紹介する。
同じ画像のイエス/ノーフリップを測定し、フリップ率を8%から58%に設定する。
我々は、フレーミングと相関し、決定マージンシフトを予測するスパース機能を第17層で特定する。
論文 参考訳（メタデータ） (2026-02-24T23:03:50Z) - MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。
6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。
結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
論文 参考訳（メタデータ） (2025-08-22T08:38:16Z) - Medical Hallucinations in Foundation Models and Their Impact on Healthcare [71.15392179084428]
基礎モデルの幻覚は自己回帰訓練の目的から生じる。
トップパフォーマンスモデルは、チェーン・オブ・シークレット・プロンプトで強化された場合、97%の精度を達成した。
論文 参考訳（メタデータ） (2025-02-26T02:30:44Z) - MedAlign: A Clinician-Generated Dataset for Instruction Following with
Electronic Medical Records [60.35217378132709]
大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。
医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。
我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
論文 参考訳（メタデータ） (2023-08-27T12:24:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。