論文の概要: Asking a Multimodal LLM Whether Someone Fell: Zero-Shot Screening of Low-Resolution Thermal Video in a Laboratory and an Occupied Home
- arxiv url: http://arxiv.org/abs/2610.29913v1
- Date: Wed, 21 Oct 2026 15:53:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.396326
- Title: Asking a Multimodal LLM Whether Someone Fell: Zero-Shot Screening of Low-Resolution Thermal Video in a Laboratory and an Occupied Home
- Title(参考訳): 低分解熱ビデオのゼロショットスクリーニング : 実験室と集合住宅のマルチモーダルLCM
- Abstract要約: マルチモーダル大言語モデル(LLM)は、タスク固有のトレーニングなしで短いビデオを判断することができる。
我々は, イベントトリガー式転倒スクリーニング装置の決定段階として, 温度0のマルチモーダルLLM, Gemini 3.8 Flashを評価した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Thermal cameras can watch over older people living alone without capturing faces, and multimodal large language models (LLMs) can judge a short video without task-specific training. We evaluate a production multimodal LLM, Gemini 3.8 Flash at temperature 0, as the decision stage of an event-triggered fall screener, used exactly as a deployed prototype uses it: one request per short thermal clip, with its sound track when there is one, and its predecessor Gemini 3.7 Flash on the same requests. On 438 staged falls and 563 non-fall windows that we located by hand in a public 32x24 thermal dataset, the deployed request called 69% of the held-out subjects' falls (67% over all subjects; bed falls excluded) and none of 499 non-fall windows, including people lying on the floor and getting up. Over 76 h of ordinary life in an occupied room, recorded at 160x120 with sound, it called none of 395 clips a fall (95% upper bound 1.2 false alarms per day) and caught 4 of the 9 staged falls the camera could see. One cautionary sentence in the prompt ("a person who goes out of view ... is not a fall") accounted for many of the misses: removing it raised sensitivity on the held-out subjects from 69% to 83% on 3.8 Flash and from 80% to 92% on Gemini 3.7 Flash, and in the home from 4 to 9 of the 9 visible falls, with no false call in ordinary living but at the price of calling deliberate lie-downs a fall. Sensitivity collapsed at 8x6 pixels (34%); identical requests disagreed on 4% of windows; and when the model called a fall, its explanation placed it within a second of the annotated landing 99% of the time. Two conventional detectors trained on the laboratory data caught nearly every held-out laboratory fall but raised 14.2 and 23.9 false alarms per day in the home. We release the frame-level fall annotations of the public dataset and every model answer on it.
- Abstract(参考訳): サーマルカメラは、顔を撮ることなく1人で暮らしている高齢者を監視でき、マルチモーダルな大規模言語モデル(LLM)はタスク固有のトレーニングなしで短いビデオを判断することができる。
実運用用マルチモーダルLCM(Gemini 3.8 Flash at temperature 0, as the decision stage of a event-Triggered fall screener, just as a deployed prototype, one request per short thermal clip, with its sound track when there, and its previous Gemini 3.7 Flash on the same request。
32x24のサーマルデータセットに手元に配置した438個のステージドフォールと63個の非フォールウインドウには、ホールドアウト被験者の69%(全被験者の67%がベッドを外している)と呼ばれるデプロイリクエストがあり、床に横たわっている人を含む499個の非フォールウインドウは存在しなかった。
160x120の音で録音された普通の部屋の76時間以上は、395本のクリップのうち1日あたり95%の上限1.2の誤報を鳴らし、9つのステージの滝のうち4つを捉えた。
プロンプトの1つの注意文(「見当たらない人」は転倒ではない)は、多くのミスを引用している: 隠された被験者を3.8Flashで69%から83%まで、ジェミニ3.7Flashで80%から92%まで、そして9人の目に見える9人のうち4人から9人までが転倒し、普通の生活では誤呼をしないが、故意のうわさを訴える値段で、転倒する。
感度は8x6ピクセル (34%) で低下し、同じ要求は4%の窓で一致しなかった。
実験室のデータに基づいて訓練された2つの従来の検出器は、ほぼすべての実験室の落下を捉えたが、1日14.2と23.9の誤報を家庭で発生させた。
パブリックデータセットのフレームレベルのフォールアノテーションと、それに関するすべてのモデル回答をリリースします。
関連論文リスト
- 4MT-VLM: How Coarse Is a VLMs Cognitive Map? [1.3537117504260623]
プロシージャによって生成された風景のデータセットである4MT-VLMを導入し、それぞれ5つの刺激モードでレンダリングする。
我々はこのベンチマークを16の異なるオープンソースモデルとクローズドソースモデルでテストし、4AFC性能を報告した。
研究対象の場所をモデルが識別するが、カメラが動き出したら失くし、25%の確率レベルを135で下回っているのが観察できる。
論文 参考訳(メタデータ) (2026-09-30T08:06:49Z) - Noctif3R: Feed-Forward Monocular Real-Time SLAM for Photon-Limited Scenes on Embedded Hardware [10.679116500422902]
我々は,低照度フィードフォワード・ポイントマップ・フロントエンド上に,明示的なマッチングゲートを備えた低照度フィードフォワード・ポイントマップ・パイプラインを提案する。
実際のロボットビデオでは、納入フレームの86.5%が完全に黒で、照明開始後のすべての構成が黒で、ID-SLAMとDPV-SLAMはそれぞれ1178フレームのポーズを出力している。
論文 参考訳(メタデータ) (2026-09-17T21:57:57Z) - What a gated sensing pipeline never looks at: bandwidth reduction and the misses behind it [0.0]
我々は、これを行うゲートセンシングパイプラインを評価する。
ステージ化された映像では、38,736ビットが211秒以上送信され、41,977xが減少し、4つのステージ化されたイベントの1つに偽の報告がない。
1回の飛行で3回欠席したイベントをステージに配置し、進行が止まった。
論文 参考訳(メタデータ) (2026-09-14T13:50:14Z) - K-Bench: measuring model performance on real scientific agent requests [0.0]
K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。
3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。
39,934点中47.6%が8点を下回った。
論文 参考訳(メタデータ) (2026-08-21T20:06:08Z) - Can We Defend Against AI-Generated Video Attacks on Real-World Crisis Events? A Systematic Evaluation of Detectors, Generators and Social Dissemination [81.00778788481266]
RA-Benchは、Real Videoをアンカーとして使用するAI生成ビデオ検出のベンチマークである。
RA-Benchには17,886本のビデオがあり、10のソーシャルリスクカテゴリーで1,830本のビデオアンカーがある。
3つの検出器ファミリーはいずれもRA-ベンチインスタンス全体にわたって一貫して一般化しない。
論文 参考訳(メタデータ) (2026-08-14T15:32:56Z) - The Low Frequency Trap: Video Language Models Fail at Simple Event Bookkeeping [70.07961857926377]
3つの制御されたビデオタスクにおけるイベントカウントのためのトレーサグラウンドパラメトリックプロファイリングを導入する。
2,190本のビデオでは,レンダリングを保ちながらイベントカウントNと周波数Fが異なる。
80%の信頼性しきい値において、Gemini 3.6 Flashは、0.5Hzと1.0Hzの12イベントまでの永続的な状態遷移を確実にカウントするが、過渡的点滅イベントに対する信頼性の高い正カウント領域は示さない。
論文 参考訳(メタデータ) (2026-08-06T17:57:06Z) - A Reliability Assessment of LALM Audio Judges for Full-Duplex Voice Agents [0.0]
2.5のFlash、3.5のFlash、3.1のProはジェミニファミリーの3つのモデルでテストされている。
我々の主要な証拠基盤は、3人のレイパーに対して検証されたGemini 2.5 Flashの地平線モデルを用いています。
論文 参考訳(メタデータ) (2026-07-08T23:24:55Z) - PaSBench-Video: A Streaming Video Benchmark for Proactive Safety Warning [54.70033525672316]
ビデオ対応の大型言語モデル(MLLM)は、このウィンドウ内で警告を発する常時オンの安全モニタとして機能する。
今回紹介するPaSBench-Videoは、481のリスクと4つのドメインにわたる259のリスクビデオを備えた740のビデオベンチマークだ。
最も厳密な基準ではモデルが20.0%を超えることはなく、リコールは偽陽性率と強く結びついている。
論文 参考訳(メタデータ) (2026-06-01T16:14:01Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳(メタデータ) (2026-05-21T17:42:07Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳(メタデータ) (2024-11-05T01:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。