論文の概要: A Comparative Analysis of Decision-Level Fusion for Multimodal Driver Behaviour Understanding

• arxiv url: http://arxiv.org/abs/2204.04734v1
• Date: Sun, 10 Apr 2022 17:49:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 14:36:06.507522
• Title: A Comparative Analysis of Decision-Level Fusion for Multimodal Driver Behaviour Understanding
• Title（参考訳）: マルチモーダルドライバ動作理解のための決定レベル融合の比較解析
• Authors: Alina Roitberg, Kunyu Peng, Zdravko Marinov, Constantin Seibold, David Schneider, Rainer Stiefelhagen
• Abstract要約: 本稿では,映像に基づく運転観察における決定レベルの遅延融合のための異なるパラダイムの実証的評価について述べる。 単一モーダル分類器の結果を結合するための7つの異なるメカニズムを比較した。 これは、車内におけるマルチモーダル予測器の結果を融合させる戦略に関する最初の体系的な研究である。
• 参考スコア（独自算出の注目度）: 22.405229530620414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual recognition inside the vehicle cabin leads to safer driving and more intuitive human-vehicle interaction but such systems face substantial obstacles as they need to capture different granularities of driver behaviour while dealing with highly limited body visibility and changing illumination. Multimodal recognition mitigates a number of such issues: prediction outcomes of different sensors complement each other due to different modality-specific strengths and weaknesses. While several late fusion methods have been considered in previously published frameworks, they constantly feature different architecture backbones and building blocks making it very hard to isolate the role of the chosen late fusion strategy itself. This paper presents an empirical evaluation of different paradigms for decision-level late fusion in video-based driver observation. We compare seven different mechanisms for joining the results of single-modal classifiers which have been both popular, (e.g. score averaging) and not yet considered (e.g. rank-level fusion) in the context of driver observation evaluating them based on different criteria and benchmark settings. This is the first systematic study of strategies for fusing outcomes of multimodal predictors inside the vehicles, conducted with the goal to provide guidance for fusion scheme selection.
• Abstract（参考訳）: 車両キャビン内の視覚認識は、より安全な運転とより直感的な人間と車両の相互作用をもたらすが、そのようなシステムは、非常に限られた身体の視認性と照明の変化に対処しながら、ドライバーの行動の異なる粒度を捉える必要があるため、重大な障害に直面している。 異なるセンサの予測結果が異なるモダリティ特有の強みと弱みのために互いに補完する。 以前公開されたフレームワークでは、いくつかのレイトフュージョンメソッドが検討されているが、異なるアーキテクチャバックボーンとビルディングブロックを常に備えており、選択したレイトフュージョン戦略自体の役割を分離することが非常に困難である。 本稿では,ビデオベースのドライバ観察における決定レベルの遅延融合の異なるパラダイムの実証評価を行う。 評価基準とベンチマーク設定に基づいて評価したドライバー観察の文脈において、スコア平均化(英語版)と未検討(ランクレベルの融合(英語版)など)の両方に人気がある単一モード分類器の結果を結合する7つの異なるメカニズムを比較した。 これは、融合スキーム選択のためのガイダンスを提供することを目的として、車両内のマルチモーダル予測器の成果を融合する戦略に関する最初の体系的な研究である。

関連論文リスト

• MMLF: Multi-modal Multi-class Late Fusion for Object Detection with Uncertainty Estimation [13.624431305114564]
  本稿では,マルチクラス検出が可能なレイトフュージョンのための先駆的マルチモーダル・マルチクラスレイトフュージョン法を提案する。 KITTI検証と公式テストデータセットで実施された実験は、大幅なパフォーマンス改善を示している。 我々のアプローチでは、不確実性分析を分類融合プロセスに組み込んで、モデルをより透明で信頼性の高いものにします。
  論文  参考訳（メタデータ） (2024-10-11T11:58:35Z)
• POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation [76.67608003501479]
  主評価指標の基礎に基づいて計算された領域関連メトリクスの範囲を定義する評価プロトコルを導入・指定する。 このような比較の結果は、様々な最先端のMARL、検索ベース、ハイブリッド手法を含むものである。
  論文  参考訳（メタデータ） (2024-07-20T16:37:21Z)
• Beyond One Model Fits All: Ensemble Deep Learning for Autonomous Vehicles [16.398646583844286]
  本研究では,Mediated Perception, Behavior Reflex, Direct Perceptionの3つの異なるニューラルネットワークモデルを紹介する。 我々のアーキテクチャは、グローバルなルーティングコマンドを使用して、ベース、将来の潜伏ベクトル予測、補助タスクネットワークからの情報を融合し、適切なアクションサブネットワークを選択する。
  論文  参考訳（メタデータ） (2023-12-10T04:40:02Z)
• Interactive Autonomous Navigation with Internal State Inference and Interactivity Estimation [58.21683603243387]
  本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。 これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。 提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-11-27T18:57:42Z)
• Robust Multiview Multimodal Driver Monitoring System Using Masked Multi-Head Self-Attention [28.18784311981388]
  マルチヘッド自己注意(MHSA)による特徴レベル融合に基づく新しいマルチビューマルチモーダルドライバ監視システムを提案する。 4つの代替核融合戦略(Sum, Convarity, SE, AFF)と比較し、その効果を実証する。 本データベースを用いた実験により, 提案したMHSAベースの核融合法(AUC-ROC:97.0%)は, 全ベースラインおよび従来のアプローチより優れており, 2)パッチマスキングによるMHSAのトレーニングは, モダリティ・ビュー崩壊に対するロバスト性を向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-04-13T09:50:32Z)
• Unified Automatic Control of Vehicular Systems with Reinforcement Learning [64.63619662693068]
  本稿では,車載マイクロシミュレーションの合理化手法について述べる。 最小限の手動設計で高性能な制御戦略を発見する。 この研究は、波動緩和、交通信号、ランプ計測に類似した多くの創発的挙動を明らかにしている。
  論文  参考訳（メタデータ） (2022-07-30T16:23:45Z)
• Multi-modal Sensor Fusion for Auto Driving Perception: A Survey [22.734013343067407]
  本稿では,自律運転における知覚課題に対する既存のマルチモーダル方式の文献的考察を行う。 融合段階の観点から,より合理的な分類法により,これらを2つの主要なクラス,4つのマイナークラスに分割する革新的な方法を提案する。
  論文  参考訳（メタデータ） (2022-02-06T04:18:45Z)
• Divide-and-Conquer for Lane-Aware Diverse Trajectory Prediction [71.97877759413272]
  軌道予測は、自動運転車が行動を計画し実行するための安全クリティカルなツールです。 近年の手法は,WTAやベスト・オブ・マニーといったマルチコース学習の目標を用いて,強力なパフォーマンスを実現している。 我々の研究は、軌道予測、学習出力、そして運転知識を使って制約を課すことによるより良い予測における2つの重要な課題に対処する。
  論文  参考訳（メタデータ） (2021-04-16T17:58:56Z)
• Multimodal Object Detection via Bayesian Fusion [59.31437166291557]
  我々は、RGBとサーマルカメラでマルチモーダルオブジェクト検出を研究します。後者は照明不良下ではるかに強力なオブジェクトシグネチャを提供することができます。 我々の重要な貢献は、異なるモードのボックス検出を融合する非学習遅延融合法である。 このアプローチは、整列(KAIST)と非整列(FLIR)のマルチモーダルセンサーデータを含むベンチマークに適用されます。
  論文  参考訳（メタデータ） (2021-04-07T04:03:20Z)
• Studying Person-Specific Pointing and Gaze Behavior for Multimodal Referencing of Outside Objects from a Moving Vehicle [58.720142291102135]
  物体選択と参照のための自動車応用において、手指しと目視が広く研究されている。 既存の車外参照手法は静的な状況に重点を置いているが、移動車両の状況は極めて動的であり、安全性に制約がある。 本研究では,外部オブジェクトを参照するタスクにおいて,各モダリティの具体的特徴とそれら間の相互作用について検討する。
  論文  参考訳（メタデータ） (2020-09-23T14:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。