論文の概要: Optical Flow Matters: an Empirical Comparative Study on Fusing Monocular Extracted Modalities for Better Steering

• arxiv url: http://arxiv.org/abs/2409.12716v1
• Date: Wed, 18 Sep 2024 09:36:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 13:45:42.536295
• Title: Optical Flow Matters: an Empirical Comparative Study on Fusing Monocular Extracted Modalities for Better Steering
• Title（参考訳）: 光流動物質:より優れたステアリングのための単分子抽出モードの融合に関する実証的比較研究
• Authors: Fouad Makiyeh, Mark Bastourous, Anass Bairouk, Wei Xiao, Mirjana Maras, Tsun-Hsuan Wangb, Marc Blanchon, Ramin Hasani, Patrick Chareyre, Daniela Rus,
• Abstract要約: 本研究は、単眼カメラからのマルチモーダル情報を利用して、自動運転車のステアリング予測を改善する新しいエンドツーエンド手法を提案する。 本稿では,RGB画像と深度補完情報や光フローデータとの融合に着目し,これらのモダリティを早期・ハイブリッド融合技術によって統合する枠組みを提案する。
• 参考スコア（独自算出の注目度）: 37.46760714516923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous vehicle navigation is a key challenge in artificial intelligence, requiring robust and accurate decision-making processes. This research introduces a new end-to-end method that exploits multimodal information from a single monocular camera to improve the steering predictions for self-driving cars. Unlike conventional models that require several sensors which can be costly and complex or rely exclusively on RGB images that may not be robust enough under different conditions, our model significantly improves vehicle steering prediction performance from a single visual sensor. By focusing on the fusion of RGB imagery with depth completion information or optical flow data, we propose a comprehensive framework that integrates these modalities through both early and hybrid fusion techniques. We use three distinct neural network models to implement our approach: Convolution Neural Network - Neutral Circuit Policy (CNN-NCP) , Variational Auto Encoder - Long Short-Term Memory (VAE-LSTM) , and Neural Circuit Policy architecture VAE-NCP. By incorporating optical flow into the decision-making process, our method significantly advances autonomous navigation. Empirical results from our comparative study using Boston driving data show that our model, which integrates image and motion information, is robust and reliable. It outperforms state-of-the-art approaches that do not use optical flow, reducing the steering estimation error by 31%. This demonstrates the potential of optical flow data, combined with advanced neural network architectures (a CNN-based structure for fusing data and a Recurrence-based network for inferring a command from latent space), to enhance the performance of autonomous vehicles steering estimation.
• Abstract（参考訳）: 自動運転車のナビゲーションは人工知能の重要な課題であり、堅牢で正確な意思決定プロセスを必要とする。 本研究は、単眼カメラからのマルチモーダル情報を利用して、自動運転車のステアリング予測を改善する新しいエンドツーエンド手法を提案する。 高価で複雑である、あるいはRGB画像のみに頼っている複数のセンサを必要とする従来のモデルとは異なり、われわれのモデルは単一の視覚センサから車両の操舵予測性能を大幅に改善する。 本稿では,RGB画像と深度補完情報や光フローデータとの融合に着目し,これらのモダリティを早期・ハイブリッド融合技術によって統合する包括的枠組みを提案する。 畳み込みニューラルネットワーク - ニュートラル回路ポリシー(CNN-NCP)、変分オートエンコーダ - 長期記憶(VAE-LSTM)、ニューラルネットワークアーキテクチャ(VAE-NCP)の3つの異なるニューラルネットワークモデルを用いて、我々のアプローチを実装している。 本手法は,光学的フローを意思決定プロセスに組み込むことで,自律ナビゲーションを著しく向上させる。 ボストンの運転データを用いた比較実験の結果,画像情報と運動情報を統合したモデルが堅牢で信頼性が高いことが示された。 これは、光学フローを使用しない最先端のアプローチよりも優れており、ステアリング推定誤差を31%削減する。 このことは、高度なニューラルネットワークアーキテクチャ(データを融合するCNNベースの構造と、潜在空間からコマンドを推論するRecurrenceベースのネットワーク)と組み合わせることで、自動運転車のステアリング推定の性能を高めることの可能性を実証している。

関連論文リスト

• UnLoc: A Universal Localization Method for Autonomous Vehicles using LiDAR, Radar and/or Camera Input [51.150605800173366]
  UnLocは、全ての気象条件におけるマルチセンサー入力によるローカライズのための、新しい統一型ニューラルネットワークアプローチである。 本手法は,Oxford Radar RobotCar,Apollo SouthBay,Perth-WAの各データセットで広く評価されている。
  論文  参考訳（メタデータ） (2023-07-03T04:10:55Z)
• Attention Mechanism for Contrastive Learning in GAN-based Image-to-Image Translation [3.90801108629495]
  本稿では,異なる領域にまたがって高品質な画像を生成可能なGANモデルを提案する。 実世界から取得した画像データと3Dゲームからのシミュレーション画像を用いて、Contrastive Learningを利用してモデルを自己指導的に訓練する。
  論文  参考訳（メタデータ） (2023-02-23T14:23:23Z)
• Leveraging Multi-stream Information Fusion for Trajectory Prediction in Low-illumination Scenarios: A Multi-channel Graph Convolutional Approach [8.671486571411796]
  軌道予測は自動運転車の基本的な問題であり課題である。 本稿では,マルチストリーム情報融合を利用した低照度シナリオにおける軌道予測手法を提案する。
  論文  参考訳（メタデータ） (2022-11-18T13:25:15Z)
• CARNet: A Dynamic Autoencoder for Learning Latent Dynamics in Autonomous Driving Tasks [11.489187712465325]
  自律運転システムは、世界の抽象的な記述を形成するために、様々なセンサから収集した情報を効果的に活用すべきである。 オートエンコーダのようなディープラーニングモデルは、受信データのストリームからコンパクトな潜在表現を学習できるため、その目的のために使用できる。 この研究は、自動エンコーダとリカレントニューラルネットワークを組み合わせて現在の潜伏表現を学習する、複合dynAmicautoencodeRネットワークアーキテクチャであるCARNetを提案する。
  論文  参考訳（メタデータ） (2022-05-18T04:15:42Z)
• Aerial Images Meet Crowdsourced Trajectories: A New Approach to Robust Road Extraction [110.61383502442598]
  我々は、Cross-Modal Message Propagation Network (CMMPNet)と呼ばれる新しいニューラルネットワークフレームワークを紹介する。 CMMPNetは、モダリティ固有の表現学習のための2つのディープオートエンコーダと、クロスモーダル表現洗練のためのテーラー設計のデュアルエンハンスメントモジュールで構成されている。 実世界の3つのベンチマーク実験により, CMMPNetによる堅牢な道路抽出の有効性が示された。
  論文  参考訳（メタデータ） (2021-11-30T04:30:10Z)
• Bayesian Optimization and Deep Learning forsteering wheel angle prediction [58.720142291102135]
  本研究の目的は,自動走行システムにおける操舵角度予測の精度の高いモデルを得ることである。 BOは限られた試行数で、BOST-LSTMと呼ばれるモデルを特定し、古典的なエンドツーエンド駆動モデルと比較して最も正確な結果を得た。
  論文  参考訳（メタデータ） (2021-10-22T15:25:14Z)
• Efficient and Robust LiDAR-Based End-to-End Navigation [132.52661670308606]
  我々は,LiDARをベースとした効率的なエンドツーエンドナビゲーションフレームワークを提案する。 本稿では,スパース畳み込みカーネル最適化とハードウェア対応モデル設計に基づくFast-LiDARNetを提案する。 次に,単一の前方通過のみから予測の不確かさを直接推定するハイブリッド・エビデンシャル・フュージョンを提案する。
  論文  参考訳（メタデータ） (2021-05-20T17:52:37Z)
• A Driving Behavior Recognition Model with Bi-LSTM and Multi-Scale CNN [59.57221522897815]
  運転行動認識のための軌道情報に基づくニューラルネットワークモデルを提案する。 提案手法を公開BLVDデータセット上で評価し,満足な性能を実現する。
  論文  参考訳（メタデータ） (2021-03-01T06:47:29Z)
• Incorporating Kinematic Wave Theory into a Deep Learning Method for High-Resolution Traffic Speed Estimation [3.0969191504482243]
  本研究では, 波動に基づく深部畳み込みニューラルネットワーク(Deep CNN)を提案し, スパースプローブ車両軌道から高分解能交通速度のダイナミクスを推定する。 我々は,既存の学習に基づく推定手法の堅牢性を改善するために,運動波理論の原理を取り入れるための2つの重要なアプローチを導入する。
  論文  参考訳（メタデータ） (2021-02-04T21:51:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。