論文の概要: Can We Anticipate Violence? Multimodal Learning from Pre-Incident Behavioral Cues
- arxiv url: http://arxiv.org/abs/2609.40014v1
- Date: Wed, 30 Sep 2026 15:52:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.993757
- Title: Can We Anticipate Violence? Multimodal Learning from Pre-Incident Behavioral Cues
- Title(参考訳): ヴァイオレンスを予測できるか? 事故前行動キューからのマルチモーダル学習
- Abstract要約: 本研究は,マルチモーダル映像信号からの短時間の事故前リスク認識について研究する。
我々は、時間的注釈付きXD-Violenceクリップから正規対リスキーのバイナリセットを構築する。
我々は,顔領域の外観,時間的に整列した音声,体動の特徴の3つの相補的な情報ソースを評価する。
- 参考スコア(独自算出の注目度): 4.077787659104315
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Detecting violence after it begins is important from recognizing behavioral cues that appear immediately beforehand. This work studies short-horizon pre-incident risk recognition from multimodal video signals. We construct a binary Normal-versus-Risky setting from temporally annotated XD-Violence clips, using 443 samples with source-level separation across training, validation, and test sets. Each sample consists of a variable-length pre-incident clip, with its duration determined by the observable behavioral context preceding the incident. The inci- dent itself is excluded from all input clips. We evaluate three complementary information sources: facial-region appearance, temporally aligned audio, and body-motion features derived from tracked keypoints. Controlled ablations are performed with Swin-Tiny, ViT-Tiny, and DeiT-Tiny to measure the contribution of each modality under the same split. Results show that combining all modalities is more effective than using any other combination alone. The best configuration, Deit-Tiny with audio, facial appearance, and motion, achieves 91.21% accuracy, 88.96% balanced accuracy, 93.65% F1-score, and 96.38% ROC-AUC on the held-out test set. These results suggest that complementary appearance, acoustic, and kinematic cues provide useful evidence for recognizing elevated pre-incident risk.
- Abstract(参考訳): 開始直後の暴力の検出は、すぐに現れる行動的手がかりを認識することが重要である。
本研究は,マルチモーダル映像信号からの短時間の事故前リスク認識について研究する。
我々は、トレーニング、検証、テストセット間でソースレベルを分離した43のサンプルを用いて、時間的アノテートされたXD-Violenceクリップから、バイナリ正規対リスキー設定を構築した。
各サンプルは可変長のプレインシデントクリップで構成され、その期間はインシデントに先行する観測可能な行動コンテキストによって決定される。
inci-dent自体は、すべての入力クリップから除外される。
追跡されたキーポイントから得られた顔領域の外観,時間的に整列した音声,身体運動の特徴の3つの相補的な情報ソースを評価した。
Swin-Tiny、ViT-Tiny、DeiT-Tinyで制御されたアブレーションを行い、各モードの寄与を同じスプリットで測定する。
結果は、すべてのモダリティを組み合わせることは、他の組み合わせを単独で使うよりも効果的であることを示している。
最高の構成は、音声、顔の外観、動きを持つDeit-Tinyで、91.21%の精度、88.96%のバランスの取れた精度、93.65%のF1スコア、96.38%のROC-AUCである。
これらの結果は, 相補的外観, 音響的, キネマティックな手がかりが, 事故前リスクの上昇を認識する上で有用な証拠となることを示唆している。
関連論文リスト
- The Low Frequency Trap: Video Language Models Fail at Simple Event Bookkeeping [70.07961857926377]
3つの制御されたビデオタスクにおけるイベントカウントのためのトレーサグラウンドパラメトリックプロファイリングを導入する。
2,190本のビデオでは,レンダリングを保ちながらイベントカウントNと周波数Fが異なる。
80%の信頼性しきい値において、Gemini 3.6 Flashは、0.5Hzと1.0Hzの12イベントまでの永続的な状態遷移を確実にカウントするが、過渡的点滅イベントに対する信頼性の高い正カウント領域は示さない。
論文 参考訳(メタデータ) (2026-08-06T17:57:06Z) - Knowledge-Guided Multimodal Reasoning over Interacting Streams for Video-Level Ambivalence and Hesitancy Recognition [0.9297355862757838]
PRISM-AHはA/Hを時間とともに展開するマルチモーダルコンフリクトとして扱うフレームワークである。
知識誘導型大規模言語モデルは、データセットの専門的な分類法を用いて、構造化された証拠を理由づける。
525ビデオのラベル付き公開テストパーティションでは、PRISM-AHは0.2827のゼロショットベースラインと比較して0.6133のマクロF1を達成する。
論文 参考訳(メタデータ) (2026-07-28T16:44:38Z) - Evaluation Awareness Is Not One Capability: Evidence from Open Language Models [1.758143872501506]
安全ベンチマークは、テスト条件の振る舞いがデプロイメントの振る舞いを予測すると仮定する。
これにより、ベンチマークパフォーマンスとデプロイメントの動作のギャップが開ける。
我々は、37のオープンウェイトモデルと7つのファミリーにわたる8つの実験を通して、この評価意識を特徴づける。
論文 参考訳(メタデータ) (2026-06-22T16:48:43Z) - Human-Centric Anomaly Detection in Surveillance Videos Using YOLO-World and Spatio-Temporal Deep Learning [0.1019561860229868]
監視ビデオにおける異常検出は、異常事象の多様性、クラス不均衡、シーン依存の視覚的乱れなどにより、依然として困難な課題である。
マルチクラス異常分類のための時間的モデリングと人間の重み付け前処理を統合した頑健なディープラーニングフレームワークを提案する。
本手法は,3つの独立した試験において平均テスト精度が92.41%であり,クラスごとのF1スコアは0.85以上である。
論文 参考訳(メタデータ) (2025-10-24T22:38:17Z) - Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection [49.26064449816502]
本研究では,テキスト・視覚バイアスと共起バイアスに対処するために,グラディエントベースのインフルエンス・アウェア制約付きデコーディング(GACD)手法を提案する。
GACDは幻覚を効果的に低減し、MLLM出力の視覚的接地を改善する。
論文 参考訳(メタデータ) (2025-09-03T08:13:52Z) - Anomalous Decision Discovery using Inverse Reinforcement Learning [3.3675535571071746]
異常検出は、知覚システムを通じて異常な行動を特定することによって、自律走行車(AV)において重要な役割を果たす。
現在のアプローチは、しばしば定義済みのしきい値や教師付き学習パラダイムに依存するが、目に見えないシナリオに直面すると効果が低下する。
異常検出のための新しいIRLフレームワークである Trajectory-Reward Guided Adaptive Pre-training (TRAP) を提案する。
論文 参考訳(メタデータ) (2025-07-06T17:01:02Z) - Ensembled Prediction Intervals for Causal Outcomes Under Hidden
Confounding [49.1865229301561]
本稿では,既存の因果感受性モデルを用いた部分同定手法を提案し,Caus-Modensがより厳密な結果区間を与えることを示す。
3つの異なるベンチマークのうち最後のものは、未知だが探究可能な基底真理を持つ観測実験にGPT-4を新たに使用することである。
論文 参考訳(メタデータ) (2023-06-15T21:42:40Z) - Joint-Modal Label Denoising for Weakly-Supervised Audio-Visual Video
Parsing [52.2231419645482]
本稿では,弱教師付き音声・視覚ビデオ解析タスクについて述べる。
それぞれのモードに属する全ての事象を認識し、時間的境界をローカライズすることを目的としている。
論文 参考訳(メタデータ) (2022-04-25T11:41:17Z) - Audio-visual Representation Learning for Anomaly Events Detection in
Crowds [119.72951028190586]
本稿では,音声と視覚信号の同時モデリングにおけるマルチモーダル学習の活用を試みる。
監視シーンにおける合成音声視覚データセットであるSHADEデータセットについて実験を行った。
音声信号の導入は,異常事象の検出性能を効果的に向上し,他の最先端手法よりも優れることがわかった。
論文 参考訳(メタデータ) (2021-10-28T02:42:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。