論文の概要: InCarEmo: A Multimodal Dataset for In-Cabin Emotion Recognition and Driver State Monitoring
- arxiv url: http://arxiv.org/abs/2607.14683v1
- Date: Thu, 16 Jul 2026 07:44:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.031705
- Title: InCarEmo: A Multimodal Dataset for In-Cabin Emotion Recognition and Driver State Monitoring
- Title（参考訳）: InCarEmo:車内感情認識と運転状態モニタリングのためのマルチモーダルデータセット
- Abstract要約: InCarEmoは、キャビン内の感情認識とドライバ状態監視のためのマルチモーダルデータセットである。
RGBと赤外線ビデオ、インキャビンオーディオ、スクリプト化されたインキャビンシナリオから収集された対話テキストを統合する。
単モーダル法とマルチモーダル法にまたがる広範なベースライン結果を持つ統一ベンチマークを提供する。
- 参考スコア（独自算出の注目度）: 41.33240617747301
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding driver emotion and state is critical for the next generation of intelligent in-cabin systems that ensure safety and enhance human-vehicle interaction. However, existing public datasets for in-cabin affective computing are largely limited to visual modalities and rarely include conversational information, making it difficult to capture the linguistic and interactive cues underlying driver emotion. To address these gaps, we introduce InCarEmo, a multimodal dataset for in-cabin emotion recognition and driver state monitoring. InCarEmo integrates RGB and infrared video, in-cabin audio, and dialogue text collected from scripted in-cabin scenarios designed to simulate realistic driver behaviors, covering diverse lighting conditions and driving contexts. The dataset supports three primary tasks: 1) multimodal emotion recognition, 2) fatigue detection, and 3) distraction monitoring. In addition to the original Chinese data, we construct an auxiliary English benchmark to support preliminary cross-lingual evaluation. We provide a unified benchmark with extensive baseline results across unimodal and multimodal methods, including analyses under modality-missing and noise conditions. Experimental results demonstrate the benefits of multimodal fusion and reveal remaining challenges under real-world noise and low-light conditions. By releasing InCarEmo, we aim to establish a comprehensive foundation for robust, interpretable, and human-centric in-cabin affective understanding, promoting safer and more empathetic driver-vehicle interaction.
- Abstract（参考訳）: ドライバーの感情と状態を理解することは、安全を確保し、人間と車の相互作用を強化する、次世代のインキャビンシステムにとって重要である。
しかし、既存のインキャビン感情コンピューティングのための公開データセットは、視覚的モダリティに限られており、会話情報をほとんど含まないため、言語的で対話的な運転者の感情を捉えることは困難である。
これらのギャップに対処するために,カービン内感情認識とドライバ状態監視のためのマルチモーダルデータセットであるInCarEmoを導入する。
InCarEmoは、リアルなドライバーの振る舞いをシミュレートするために設計されたスクリプト化されたインキャビンシナリオから収集されたRGBおよび赤外線ビデオ、インキャビンオーディオ、ダイアログテキストを統合する。
データセットは3つの主要なタスクをサポートする。
1)マルチモーダル感情認識
2)疲労検知,及び
3)注意散らしモニタリング。
元の中国語データに加えて、予備的な言語間評価をサポートする補助的な英語ベンチマークを構築した。
モーダリティの欠如やノイズ条件の分析を含む,一様および多様の手法にまたがる広範なベースライン結果の統一されたベンチマークを提供する。
実験により,マルチモーダル核融合の利点を実証し,実環境におけるノイズや低照度条件下での課題を明らかにする。
InCarEmoを発売することで、より安全で共感的なドライバーと車両の相互作用を促進する、堅牢で、解釈可能で、人間中心のインキャビン感情理解のための総合的な基盤を確立することを目指している。
関連論文リスト
- NARRATE: A Multimodal Real-World Australian Driving Dataset for Human-Centred Explanations in Automated Driving [14.607239446674479]
既存の言語アノテーション付き駆動データセットは、主にオブザーバー書き、ポストホック、シミュレーションベース、センサー入力から生成される。
我々は、35人の経験豊富なドライバーと公道での運転インストラクターによる2,050件の注釈付きイベントからなるマルチモーダルな実世界のオーストラリア運転データセットであるNARRATEを紹介した。
各イベントは、同期されたビジュアル、ローカライゼーション、モーション、およびLiDARストリームで構成され、車内または/または後述のフリーテキスト説明と組み合わせられる。
論文 参考訳（メタデータ） (2026-08-14T12:35:24Z) - Tactile-based Multimodal Fusion in Embodied Intelligence: A Survey of Vision, Language, and Contact-Driven Paradigms [70.51538670020267]
本稿では,フィールドを2つの主次元(マルチモーダルデータセットとマルチモーダルメソッド)に分類する階層型分類法を提案する。
データ側では、Tactile-Visionデータセット、Tactile-Languageデータセット、Tactile-Vision-Languageデータセット、Tactile-Vision-Otherデータセットを含むリソースを分類する。
提案手法は,(1)マルチモーダル認識・認識,(2)クロスモーダル生成,(2)触覚・視覚・テキスト間の双方向翻訳,(3)マルチモーダルインタラクション,フィードバック制御と言語誘導操作の3つの柱に先行して構成する。
論文 参考訳（メタデータ） (2026-05-17T09:09:30Z) - Looking and Listening Inside and Outside: Multimodal Artificial Intelligence Systems for Driver Safety Assessment and Intelligent Vehicle Decision-Making [30.720516012789357]
本研究は、ドライバーを理解するための付加的な情報源として、オーディオモダリティを論じる。
LILOを音声信号を組み込んで拡張し、L-LIO(L-LIO)フレームワークを構築した。
実験結果によると、音声は特にニュアンスや文脈に富んだシナリオにおいて、安全に関する洞察をもたらす。
論文 参考訳（メタデータ） (2026-02-07T19:25:02Z) - Multimodal Large Language Model Framework for Safe and Interpretable Grid-Integrated EVs [3.7098231493739764]
本稿では,マルチモーダルセンサデータを処理するための多モーダル大規模言語モデル(LLM)に基づくフレームワークを提案する。
このフレームワークは、都市道路を走行する計器車から収集された実世界データを用いて検証されている。
視覚知覚(YOLOv8)、ジオコード位置決め、CANバステレメトリを組み合わせることで、フレームワークは生センサデータとドライバの理解を橋渡しする。
論文 参考訳（メタデータ） (2025-10-02T21:50:31Z) - Efficient Mixture-of-Expert for Video-based Driver State and Physiological Multi-task Estimation in Conditional Autonomous Driving [12.765198683804094]
道路の安全は世界中で重要な課題であり、交通事故による死者は約135万人である。
VDMoEと呼ばれる新しいマルチタスクDMSを提案し、RGBビデオ入力を利用して運転状態を非侵襲的に監視する。
論文 参考訳（メタデータ） (2024-10-28T14:49:18Z) - Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
自律運転におけるMLLM(Multimodal Large Language Models)の適用について検討する。
GPT-4oのようなモデルの開発は進んでいるが、複雑な運転環境における性能は未解明のままである。
論文 参考訳（メタデータ） (2024-05-09T17:52:42Z) - Leveraging Driver Field-of-View for Multimodal Ego-Trajectory Prediction [69.29802752614677]
RouteFormerは、GPSデータ、環境コンテキスト、運転者の視野を組み合わせた新しいエゴ軌道予測ネットワークである。
データ不足に対処し、多様性を高めるために、同期運転場と視線データに富んだ都市運転シナリオのデータセットであるGEMを導入する。
論文 参考訳（メタデータ） (2023-12-13T23:06:30Z) - Drive Anywhere: Generalizable End-to-end Autonomous Driving with
Multi-modal Foundation Models [114.69732301904419]
本稿では、画像とテキストで検索可能な表現から、運転決定を提供することができる、エンドツーエンドのオープンセット(環境/シーン)自律運転を適用するアプローチを提案する。
当社のアプローチでは, 多様なテストにおいて非並列的な結果を示すと同時に, アウト・オブ・ディストリビューションの状況において, はるかに高いロバスト性を実現している。
論文 参考訳（メタデータ） (2023-10-26T17:56:35Z) - AIDE: A Vision-Driven Multi-View, Multi-Modal, Multi-Tasking Dataset for
Assistive Driving Perception [26.84439405241999]
本稿では,車内と車外の両方でコンテキスト情報を考察するAssIstive Driving pErceptionデータセット(AIDE)を提案する。
AIDEは3つの特徴を通して総合的なドライバー監視を容易にする。
2つの融合戦略を導入し、効果的なマルチストリーム/モーダル表現の学習に新たな洞察を与える。
論文 参考訳（メタデータ） (2023-07-26T03:12:05Z) - Exploring Contextual Representation and Multi-Modality for End-to-End
Autonomous Driving [58.879758550901364]
最近の知覚システムは、センサー融合による空間理解を高めるが、しばしば完全な環境コンテキストを欠いている。
我々は,3台のカメラを統合し,人間の視野をエミュレートするフレームワークを導入し,トップダウンのバードアイビューセマンティックデータと組み合わせて文脈表現を強化する。
提案手法は, オープンループ設定において0.67mの変位誤差を達成し, nuScenesデータセットでは6.9%の精度で現在の手法を上回っている。
論文 参考訳（メタデータ） (2022-10-13T05:56:20Z) - Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data
Augmentation [77.60050239225086]
実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。
私達のアプローチは人間の相互作用なしで完全に自動です。
VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
論文 参考訳（メタデータ） (2020-12-15T03:03:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。