論文の概要: Efficient Mixture-of-Expert for Video-based Driver State and Physiological Multi-task Estimation in Conditional Autonomous Driving

• arxiv url: http://arxiv.org/abs/2410.21086v1
• Date: Mon, 28 Oct 2024 14:49:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:17:08.135949
• Title: Efficient Mixture-of-Expert for Video-based Driver State and Physiological Multi-task Estimation in Conditional Autonomous Driving
• Title（参考訳）: 条件付き自律運転におけるビデオベース運転状態と生理的マルチタスク推定のための効率的な混合実験
• Authors: Jiyao Wang, Xiao Yang, Zhenyu Wang, Ximeng Wei, Ange Wang, Dengbo He, Kaishun Wu,
• Abstract要約: 道路の安全は世界中で重要な課題であり、交通事故による死者は約135万人である。 VDMoEと呼ばれる新しいマルチタスクDMSを提案し、RGBビデオ入力を利用して運転状態を非侵襲的に監視する。
• 参考スコア（独自算出の注目度）: 12.765198683804094
• License:
• Abstract: Road safety remains a critical challenge worldwide, with approximately 1.35 million fatalities annually attributed to traffic accidents, often due to human errors. As we advance towards higher levels of vehicle automation, challenges still exist, as driving with automation can cognitively over-demand drivers if they engage in non-driving-related tasks (NDRTs), or lead to drowsiness if driving was the sole task. This calls for the urgent need for an effective Driver Monitoring System (DMS) that can evaluate cognitive load and drowsiness in SAE Level-2/3 autonomous driving contexts. In this study, we propose a novel multi-task DMS, termed VDMoE, which leverages RGB video input to monitor driver states non-invasively. By utilizing key facial features to minimize computational load and integrating remote Photoplethysmography (rPPG) for physiological insights, our approach enhances detection accuracy while maintaining efficiency. Additionally, we optimize the Mixture-of-Experts (MoE) framework to accommodate multi-modal inputs and improve performance across different tasks. A novel prior-inclusive regularization method is introduced to align model outputs with statistical priors, thus accelerating convergence and mitigating overfitting risks. We validate our method with the creation of a new dataset (MCDD), which comprises RGB video and physiological indicators from 42 participants, and two public datasets. Our findings demonstrate the effectiveness of VDMoE in monitoring driver states, contributing to safer autonomous driving systems. The code and data will be released.
• Abstract（参考訳）: 道路の安全は世界中で重要な課題であり、毎年約135万人の死者が交通事故によるものであり、しばしば人的ミスによるものである。 運転が唯一のタスクであった場合、非運転関連タスク(NDRT)に携わる場合、自動化による運転が認知的に過度に必要となるためです。 これにより、SAEレベル2/3自律運転コンテキストにおける認知負荷と眠気を評価する効果的な運転監視システム(DMS)が緊急に必要となる。 本研究では、RGBビデオ入力を利用して運転状態を非侵襲的に監視する、VDMoEと呼ばれる新しいマルチタスクDMSを提案する。 顔の特徴を生かして計算負荷を最小化し、生理的洞察にリモート光胸腺撮影(rPPG)を統合することにより、効率を保ちながら検出精度を向上させる。 さらに、Mixture-of-Experts (MoE) フレームワークを最適化し、マルチモーダル入力を許容し、異なるタスクにおけるパフォーマンスを改善する。 モデル出力を統計的先行と整合させる新しい事前包摂的正規化法を導入し、収束を加速し過度な適合リスクを軽減する。 RGBビデオと42人の被験者の生理的指標と2つの公開データセットからなる新しいデータセット(MCDD)を作成し,本手法の有効性を検証した。 本研究は,運転状態のモニタリングにおけるVDMoEの有効性を実証し,より安全な自動運転システムの実現に寄与した。 コードとデータはリリースされます。

関連論文リスト

• G-MEMP: Gaze-Enhanced Multimodal Ego-Motion Prediction in Driving [71.9040410238973]
  我々は、視線データを用いて、運転者の車両のエゴ軌道を推定することに集中する。 次に、GPSとビデオ入力と視線データを組み合わせた新しいマルチモーダルエゴ軌道予測ネットワークであるG-MEMPを開発する。 その結果,G-MEMPは両ベンチマークにおいて最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-12-13T23:06:30Z)
• Unsupervised Domain Adaptation for Self-Driving from Past Traversal Features [69.47588461101925]
  本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。 提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。 実世界のデータセットの実験では、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2023-09-21T15:00:31Z)
• Towards Safe Autonomy in Hybrid Traffic: Detecting Unpredictable Abnormal Behaviors of Human Drivers via Information Sharing [21.979007506007733]
  提案アルゴリズムは高速道路と都市交通の両方において優れた検出性能を有することを示す。 最高の性能は97.3%、平均検出遅延1.2、誤警報0である。
  論文  参考訳（メタデータ） (2023-08-23T18:24:28Z)
• A Novel Driver Distraction Behavior Detection Method Based on Self-supervised Learning with Masked Image Modeling [5.1680226874942985]
  ドライバーの注意散らしは、毎年かなりの数の交通事故を引き起こし、経済的な損失と損失をもたらす。 ドライバの障害検出は、主に従来の畳み込みニューラルネットワーク(CNN)と教師あり学習法に依存している。 本稿では,運転者の気晴らし行動検出のためのマスク付き画像モデリングに基づく自己教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T10:53:32Z)
• Generative AI-empowered Simulation for Autonomous Driving in Vehicular Mixed Reality Metaverses [130.15554653948897]
  車両混合現実(MR)メタバースでは、物理的実体と仮想実体の間の距離を克服することができる。 現実的なデータ収集と物理世界からの融合による大規模交通・運転シミュレーションは困難かつコストがかかる。 生成AIを利用して、無制限の条件付きトラフィックを合成し、シミュレーションでデータを駆動する自律運転アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-02-16T16:54:10Z)
• FBLNet: FeedBack Loop Network for Driver Attention Prediction [75.83518507463226]
  非客観的運転経験はモデル化が難しい。 本稿では,運転経験蓄積過程をモデル化するFeedBack Loop Network (FBLNet)を提案する。 インクリメンタルな知識の指導のもと、私たちのモデルは入力画像から抽出されたCNN特徴とトランスフォーマー特徴を融合し、ドライバーの注意を予測します。
  論文  参考訳（メタデータ） (2022-12-05T08:25:09Z)
• Augmented Driver Behavior Models for High-Fidelity Simulation Study of Crash Detection Algorithms [2.064612766965483]
  人力車と自動車の両方を含むハイブリッド輸送システムのシミュレーションプラットフォームを提案する。 我々は、人間の運転タスクを分解し、大規模な交通シナリオをシミュレートするためのモジュラーアプローチを提供する。 我々は、大きな駆動データセットを分析し、異なる駆動特性を最もよく記述する表現的パラメータを抽出する。
  論文  参考訳（メタデータ） (2022-08-10T19:59:16Z)
• Multi-Modal Fusion Transformer for End-to-End Autonomous Driving [59.60483620730437]
  画像表現とLiDAR表現を注目で統合する,新しいマルチモードフュージョントランスフォーマであるTransFuserを提案する。 本手法は, 衝突を76%低減しつつ, 最先端駆動性能を実現する。
  論文  参考訳（メタデータ） (2021-04-19T11:48:13Z)
• DMD: A Large-Scale Multi-Modal Driver Monitoring Dataset for Attention and Alertness Analysis [54.198237164152786]
  視覚は運転監視システム(DMS)の最も豊かで費用対効果の高い技術である 十分に大規模で包括的なデータセットの欠如は、DMS開発の進展のボトルネックとなっている。 本稿では,実運転シナリオとシミュレーション運転シナリオを含む広範囲なデータセットであるドライバモニタリングデータセット(DMD)を紹介する。
  論文  参考訳（メタデータ） (2020-08-27T12:33:54Z)
• Deep Reinforcement Learning for Human-Like Driving Policies in Collision Avoidance Tasks of Self-Driving Cars [1.160208922584163]
  自動運転ポリシーを生成するために,モデルフリーで深層強化学習手法を導入する。 本研究では,2車線道路における静的障害物回避タスクをシミュレーションで検討する。 このアプローチが人間ライクな運転ポリシーにつながることを実証します。
  論文  参考訳（メタデータ） (2020-06-07T18:20:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。