論文の概要: ML-PersRef: A Machine Learning-based Personalized Multimodal Fusion
Approach for Referencing Outside Objects From a Moving Vehicle
- arxiv url: http://arxiv.org/abs/2111.02327v1
- Date: Wed, 3 Nov 2021 16:22:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-04 14:06:03.826766
- Title: ML-PersRef: A Machine Learning-based Personalized Multimodal Fusion
Approach for Referencing Outside Objects From a Moving Vehicle
- Title（参考訳）: ml-persref: 移動車両から外部オブジェクトを参照する機械学習ベースのパーソナライズされたマルチモーダル融合アプローチ
- Authors: Amr Gomaa, Guillermo Reyes, Michael Feld
- Abstract要約: シミュレーション環境下での長い運転経路を維持しながら、車外物体を参照するための学習に基づくマルチモーダル融合手法を提案する。
また,各ドライバに対して適応型パーソナライズシステムを実現するために,参照タスクの完了時にユーザ間の行動差を利用する方法を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Over the past decades, the addition of hundreds of sensors to modern vehicles
has led to an exponential increase in their capabilities. This allows for novel
approaches to interaction with the vehicle that go beyond traditional
touch-based and voice command approaches, such as emotion recognition, head
rotation, eye gaze, and pointing gestures. Although gaze and pointing gestures
have been used before for referencing objects inside and outside vehicles, the
multimodal interaction and fusion of these gestures have so far not been
extensively studied. We propose a novel learning-based multimodal fusion
approach for referencing outside-the-vehicle objects while maintaining a long
driving route in a simulated environment. The proposed multimodal approaches
outperform single-modality approaches in multiple aspects and conditions.
Moreover, we also demonstrate possible ways to exploit behavioral differences
between users when completing the referencing task to realize an adaptable
personalized system for each driver. We propose a personalization technique
based on the transfer-of-learning concept for exceedingly small data sizes to
enhance prediction and adapt to individualistic referencing behavior. Our code
is publicly available at https://github.com/amr-gomaa/ML-PersRef.
- Abstract（参考訳）: 過去数十年、何百ものセンサーが現代の車両に追加され、その能力は指数関数的に増加した。
これにより、感情認識、頭部回転、視線、ポインティングジェスチャーといった従来のタッチベースおよび音声コマンドアプローチを越えて、車両と対話する新たなアプローチが可能になる。
視線とポインティングのジェスチャーは、以前は車内外の物体を参照するために用いられてきたが、これらのジェスチャーのマルチモーダル相互作用と融合は、これまで広く研究されていない。
シミュレーション環境下での長い運転経路を維持しながら、車外物体を参照するための学習に基づく新しいマルチモーダル融合手法を提案する。
提案するマルチモーダルアプローチは,複数の側面と条件において単一モダリティアプローチよりも優れている。
さらに,参照タスクの完了時にユーザ間の行動差を利用する方法を示し,各ドライバに適応可能なパーソナライズシステムを実現する。
本稿では,個人主義的参照行動に適応し,予測性を高めるために,超小型データサイズの学習概念に基づくパーソナライズ手法を提案する。
私たちのコードはhttps://github.com/amr-gomaa/ML-PersRefで公開されています。
関連論文リスト
- DeepInteraction++: Multi-Modality Interaction for Autonomous Driving [80.8837864849534]
我々は,モダリティごとの個別表現を学習し,維持することのできる,新しいモダリティインタラクション戦略を導入する。
DeepInteraction++はマルチモーダルなインタラクション・フレームワークであり、マルチモーダルな表現型インタラクション・エンコーダとマルチモーダルな予測型インタラクション・デコーダを特徴とする。
実験では,3次元物体検出とエンドツーエンドの自律走行の両方において,提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2024-08-09T14:04:21Z) - Delving into Multi-modal Multi-task Foundation Models for Road Scene Understanding: From Learning Paradigm Perspectives [56.2139730920855]
本稿では,道路シーンに特化して設計されたMM-VUFMの系統解析について述べる。
本研究の目的は,タスク特化モデル,統合マルチモーダルモデル,統合マルチタスクモデル,基礎モデル推進技術など,共通プラクティスの包括的概要を提供することである。
我々は、クローズドループ駆動システム、解釈可能性、エンボディドドライブエージェント、世界モデルなど、重要な課題と今後のトレンドに関する洞察を提供する。
論文 参考訳（メタデータ） (2024-02-05T12:47:09Z) - Looking for a better fit? An Incremental Learning Multimodal Object
Referencing Framework adapting to Individual Drivers [0.0]
自動車産業の急速な進歩により、タッチベースや音声コマンドシステムといった従来の車両のインタラクション方法は、車両外の物体を参照するなど、幅広い非運転関連のタスクには不十分である。
textitIcRegressは、オブジェクトの駆動と参照という2つのタスクに携わるドライバーの振る舞いや特徴に適応する、新しい回帰に基づく漸進的学習手法である。
論文 参考訳（メタデータ） (2024-01-29T12:48:56Z) - Drive Anywhere: Generalizable End-to-end Autonomous Driving with
Multi-modal Foundation Models [114.69732301904419]
本稿では、画像とテキストで検索可能な表現から、運転決定を提供することができる、エンドツーエンドのオープンセット(環境/シーン)自律運転を適用するアプローチを提案する。
当社のアプローチでは, 多様なテストにおいて非並列的な結果を示すと同時に, アウト・オブ・ディストリビューションの状況において, はるかに高いロバスト性を実現している。
論文 参考訳（メタデータ） (2023-10-26T17:56:35Z) - Adaptive User-Centered Multimodal Interaction towards Reliable and
Trusted Automotive Interfaces [0.0]
自動車の物体選択・参照における手の動き, 頭部ポーズ, 視線, 発話について検討した。
移動体から外部オブジェクトを参照するための,ユーザ中心の適応型マルチモーダル融合手法を提案する。
論文 参考訳（メタデータ） (2022-11-07T13:31:00Z) - Multimodal Driver Referencing: A Comparison of Pointing to Objects
Inside and Outside the Vehicle [0.0]
我々は、特定のタスクに対して自然な人間と機械の相互作用を達成するために、複数のモダリティを使用する。
視線・頭・指の動きを追跡することで,マルチモーダル融合アーキテクチャを設計する。
本稿では,運転者の参照対象が車両内外にあるかどうかを識別する手法を提案する。
論文 参考訳（メタデータ） (2022-02-15T12:40:13Z) - Learning Interactive Driving Policies via Data-driven Simulation [125.97811179463542]
データ駆動シミュレータは、ポリシー学習の駆動に高いデータ効率を約束する。
小さな基盤となるデータセットは、インタラクティブな運転を学ぶための興味深い、挑戦的なエッジケースを欠いていることが多い。
本研究では,ロバストな運転方針の学習に塗装されたアドカーを用いたシミュレーション手法を提案する。
論文 参考訳（メタデータ） (2021-11-23T20:14:02Z) - Multimodal Fusion Using Deep Learning Applied to Driver's Referencing of
Outside-Vehicle Objects [0.0]
深層学習を多モード融合ネットワークに応用し,車外オブジェクトを参照する。
我々は、視線、頭ポーズ、指の指を同時に向けることで、異なる車のポーズにおける参照対象を正確に予測する。
論文 参考訳（メタデータ） (2021-07-26T12:37:06Z) - Multi-Modal Fusion Transformer for End-to-End Autonomous Driving [59.60483620730437]
画像表現とLiDAR表現を注目で統合する,新しいマルチモードフュージョントランスフォーマであるTransFuserを提案する。
本手法は, 衝突を76%低減しつつ, 最先端駆動性能を実現する。
論文 参考訳（メタデータ） (2021-04-19T11:48:13Z) - Studying Person-Specific Pointing and Gaze Behavior for Multimodal
Referencing of Outside Objects from a Moving Vehicle [58.720142291102135]
物体選択と参照のための自動車応用において、手指しと目視が広く研究されている。
既存の車外参照手法は静的な状況に重点を置いているが、移動車両の状況は極めて動的であり、安全性に制約がある。
本研究では,外部オブジェクトを参照するタスクにおいて,各モダリティの具体的特徴とそれら間の相互作用について検討する。
論文 参考訳（メタデータ） (2020-09-23T14:56:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。