論文の概要: Multi-Modal Fusion for Sensorimotor Coordination in Steering Angle
Prediction
- arxiv url: http://arxiv.org/abs/2202.05500v1
- Date: Fri, 11 Feb 2022 08:22:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 03:04:44.019025
- Title: Multi-Modal Fusion for Sensorimotor Coordination in Steering Angle
Prediction
- Title（参考訳）: 操舵角予測におけるセンサモデレータ協調のためのマルチモーダル融合
- Authors: Farzeen Munir, Shoaib Azam, Byung-Geun Lee and Moongu Jeon
- Abstract要約: 操舵角度予測のための感覚運動の協調を終末的に学習するために模倣学習を用いる。
本研究は、フレームベースのRGBとイベントデータの融合による、エンドツーエンドの横方向制御の学習について検討する。
DRFuserは、エンド・ツー・エンドの横方向制御を学習するための新しい畳み込みエンコーダ・デコーダアーキテクチャである。
- 参考スコア（独自算出の注目度）: 8.707695512525717
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Imitation learning is employed to learn sensorimotor coordination for
steering angle prediction in an end-to-end fashion requires expert
demonstrations. These expert demonstrations are paired with environmental
perception and vehicle control data. The conventional frame-based RGB camera is
the most common exteroceptive sensor modality used to acquire the environmental
perception data. The frame-based RGB camera has produced promising results when
used as a single modality in learning end-to-end lateral control. However, the
conventional frame-based RGB camera has limited operability in illumination
variation conditions and is affected by the motion blur. The event camera
provides complementary information to the frame-based RGB camera. This work
explores the fusion of frame-based RGB and event data for learning end-to-end
lateral control by predicting steering angle. In addition, how the
representation from event data fuse with frame-based RGB data helps to predict
the lateral control robustly for the autonomous vehicle. To this end, we
propose DRFuser, a novel convolutional encoder-decoder architecture for
learning end-to-end lateral control. The encoder module is branched between the
frame-based RGB data and event data along with the self-attention layers.
Moreover, this study has also contributed to our own collected dataset
comprised of event, frame-based RGB, and vehicle control data. The efficacy of
the proposed method is experimentally evaluated on our collected dataset, Davis
Driving dataset (DDD), and Carla Eventscape dataset. The experimental results
illustrate that the proposed method DRFuser outperforms the state-of-the-art in
terms of root-mean-square error (RMSE) and mean absolute error (MAE) used as
evaluation metrics.
- Abstract（参考訳）: 終末的な方法での操舵角度予測のための感覚運動の協調学習には,専門家によるデモンストレーションが必要である。
これらの専門家のデモンストレーションは、環境知覚と車両制御データと組み合わせる。
従来のフレームベースのRGBカメラは、環境知覚データを取得するのに最も一般的な外部受動的センサーモダリティである。
フレームベースのRGBカメラは、エンドツーエンドの横方向制御の学習において単一のモダリティとして使用すると有望な結果が得られる。
しかし、従来のフレームベースのRGBカメラは、照度変化条件の操作性に制限があり、動きのぼけの影響を受けている。
イベントカメラは、フレームベースのRGBカメラに補完情報を提供する。
本研究は, フレームベースRGBとイベントデータの融合について検討し, 操舵角度の予測による横方向制御の学習を行う。
さらに、イベントデータからの表現とフレームベースのRGBデータとの融合によって、自動運転車の側面制御が堅牢に予測される。
そこで本稿では,エンド・ツー・エンドの側方制御を学習する新しい畳み込みエンコーダ・デコーダアーキテクチャであるdrfuserを提案する。
エンコーダモジュールは、フレームベースのrgbデータとイベントデータと自己接続層の間に分岐する。
さらに,本研究では,イベント,フレームベースrgb,車両制御データから収集したデータセットにも貢献した。
提案手法の有効性は,収集したデータセット,davis driving dataset (ddd) およびcarla eventscapeデータセットを用いて実験的に評価した。
実験の結果,提案手法は根平均二乗誤差 (RMSE) と平均絶対誤差 (MAE) を評価指標として,最先端の手法よりも優れていることがわかった。
関連論文リスト
- Enhanced Automotive Object Detection via RGB-D Fusion in a DiffusionDet Framework [0.0]
視覚に基づく自律走行には、信頼性と効率的な物体検出が必要である。
本研究では、単眼カメラと深度センサからのデータ融合を利用してRGBと深度(RGB-D)データを提供するDiffusionDetベースのフレームワークを提案する。
RGB画像のテクスチャ特徴と色特徴とLiDARセンサの空間深度情報を統合することにより,自動車目標の物体検出を大幅に強化する特徴融合が提案されている。
論文 参考訳（メタデータ） (2024-06-05T10:24:00Z) - Camera Motion Estimation from RGB-D-Inertial Scene Flow [9.192660643226372]
シーンフローを通してRGB-D画像と慣性データを統合するカメラモーション推定の新しい定式化を提案する。
我々の目標は、慣性測定ユニット(IMU)の状態とともに、剛性3次元環境におけるカメラの動きを正確に推定することである。
論文 参考訳（メタデータ） (2024-04-26T08:42:59Z) - TUMTraf Event: Calibration and Fusion Resulting in a Dataset for
Roadside Event-Based and RGB Cameras [14.57694345706197]
インテリジェントトランスポーテーションシステム(ITS)のイベントベースカメラ
非常に高い時間分解能とダイナミックレンジを提供し、動きのぼやけをなくし、夜間の検知性能を向上させることができる。
しかし、イベントベースの画像は従来のRGBカメラの画像と比べて色やテクスチャが欠けている。
論文 参考訳（メタデータ） (2024-01-16T16:25:37Z) - Segment Any Events via Weighted Adaptation of Pivotal Tokens [85.39087004253163]
本稿では,Segment Anything Models (SAM) をイベントデータと統合する上で,難易度の高い課題に焦点を当てる。
本稿では,RGB画像とイベントデータからのトークン埋め込みのアライメントを最適化するマルチスケールな特徴蒸留手法を提案する。
論文 参考訳（メタデータ） (2023-12-24T12:47:08Z) - RGB-based Category-level Object Pose Estimation via Decoupled Metric
Scale Recovery [72.13154206106259]
本研究では、6次元のポーズとサイズ推定を分離し、不完全なスケールが剛性変換に与える影響を緩和するパイプラインを提案する。
具体的には,事前学習した単分子推定器を用いて局所的な幾何学的情報を抽出する。
別個のブランチは、カテゴリレベルの統計に基づいてオブジェクトのメートル法スケールを直接復元するように設計されている。
論文 参考訳（メタデータ） (2023-09-19T02:20:26Z) - Chasing Day and Night: Towards Robust and Efficient All-Day Object Detection Guided by an Event Camera [8.673063170884591]
EOLOは、RGBとイベントモダリティの両方を融合させることで、堅牢で効率的な全日検出を実現する、新しいオブジェクト検出フレームワークである。
我々のEOLOフレームワークは、イベントの非同期特性を効率的に活用するために、軽量スパイキングニューラルネットワーク(SNN)に基づいて構築されている。
論文 参考訳（メタデータ） (2023-09-17T15:14:01Z) - Achieving RGB-D level Segmentation Performance from a Single ToF Camera [9.99197786343155]
Infrared (IR) とdeep image を用いて1台の Time-of-Flight (ToF) カメラのセマンティックセグメンテーションタスクにおいて,RGB-D カメラと同じレベルの精度が得られることを示す。
論文 参考訳（メタデータ） (2023-06-30T13:14:27Z) - RGB-Only Reconstruction of Tabletop Scenes for Collision-Free
Manipulator Control [71.51781695764872]
世界のRGBビューのみを用いたロボットマニピュレータの無衝突制御システムを提案する。
テーブルトップシーンの知覚入力は、ロボットエンドエフェクタにハンドヘルドまたは装着されたRGBカメラの複数の画像によって提供される。
シーンの3次元形状を再構成するために、NeRFのようなプロセスが使用され、そこからユークリッド完全符号距離関数(ESDF)が計算される。
次に、モデル予測制御アルゴリズムを用いてマニピュレータを制御し、ESDFの障害物を避けながら所望のポーズに達する。
論文 参考訳（メタデータ） (2022-10-21T01:45:08Z) - Learning RAW-to-sRGB Mappings with Inaccurately Aligned Supervision [76.41657124981549]
本稿では,画像アライメントとRAW-to-sRGBマッピングのための共同学習モデルを提案する。
実験の結果,本手法はZRRおよびSR-RAWデータセットの最先端に対して良好に動作することがわかった。
論文 参考訳（メタデータ） (2021-08-18T12:41:36Z) - Synergistic saliency and depth prediction for RGB-D saliency detection [76.27406945671379]
既存のRGB-Dサリエンシデータセットは小さく、多様なシナリオに対して過度に適合し、限定的な一般化につながる可能性がある。
そこで本研究では,RGB-Dサリエンシ検出のための半教師付きシステムを提案する。
論文 参考訳（メタデータ） (2020-07-03T14:24:41Z) - Drone-based RGB-Infrared Cross-Modality Vehicle Detection via
Uncertainty-Aware Learning [59.19469551774703]
ドローンによる車両検出は、空中画像中の車両の位置とカテゴリーを見つけることを目的としている。
我々はDroneVehicleと呼ばれる大規模ドローンベースのRGB赤外線車両検出データセットを構築した。
私たちのDroneVehicleは28,439RGBの赤外線画像を収集し、都市道路、住宅地、駐車場、その他のシナリオを昼から夜までカバーしています。
論文 参考訳（メタデータ） (2020-03-05T05:29:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。