論文の概要: Scalable Primitives for Generalized Sensor Fusion in Autonomous Vehicles
- arxiv url: http://arxiv.org/abs/2112.00219v1
- Date: Wed, 1 Dec 2021 01:43:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 02:49:55.815520
- Title: Scalable Primitives for Generalized Sensor Fusion in Autonomous Vehicles
- Title（参考訳）: 自動運転車における汎用センサ融合のためのスケーラブルプリミティブ
- Authors: Sammy Sidhu, Linda Wang, Tayyab Naseer, Ashish Malhotra, Jay Chia,
Aayush Ahuja, Ella Rasmussen, Qiangui Huang, and Ray Gao
- Abstract要約: Generalized Sensor Fusion (GSF) は、センサ入力とターゲットタスクの両方がモジュラーで変更可能であるように設計されている。
これにより、AVシステムデザイナは、さまざまなセンサー構成や方法を簡単に試すことができ、異種艦隊に展開することが可能になる。
- 参考スコア（独自算出の注目度）: 3.7543422202019427
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In autonomous driving, there has been an explosion in the use of deep neural
networks for perception, prediction and planning tasks. As autonomous vehicles
(AVs) move closer to production, multi-modal sensor inputs and heterogeneous
vehicle fleets with different sets of sensor platforms are becoming
increasingly common in the industry. However, neural network architectures
typically target specific sensor platforms and are not robust to changes in
input, making the problem of scaling and model deployment particularly
difficult. Furthermore, most players still treat the problem of optimizing
software and hardware as entirely independent problems. We propose a new end to
end architecture, Generalized Sensor Fusion (GSF), which is designed in such a
way that both sensor inputs and target tasks are modular and modifiable. This
enables AV system designers to easily experiment with different sensor
configurations and methods and opens up the ability to deploy on heterogeneous
fleets using the same models that are shared across a large engineering
organization. Using this system, we report experimental results where we
demonstrate near-parity of an expensive high-density (HD) LiDAR sensor with a
cheap low-density (LD) LiDAR plus camera setup in the 3D object detection task.
This paves the way for the industry to jointly design hardware and software
architectures as well as large fleets with heterogeneous configurations.
- Abstract（参考訳）: 自動運転では、知覚、予測、計画タスクのためのディープニューラルネットワークの使用が爆発的に増加した。
自動運転車(AV)の生産が近づくにつれ、さまざまなセンサープラットフォームを備えたマルチモーダルセンサー入力や異種車両群が業界でますます一般的になりつつある。
しかし、ニューラルネットワークアーキテクチャは通常、特定のセンサープラットフォームをターゲットにしており、入力の変化に対して堅牢ではないため、スケーリングやモデルデプロイメントの問題は特に困難である。
さらに、ほとんどのプレイヤーはソフトウェアとハードウェアを最適化する問題を全く独立した問題として扱う。
センサ入力と目標タスクの両方がモジュラーで変更可能な方法で設計された,新たなエンドツーエンドアーキテクチャであるGeneralized Sensor Fusion (GSF)を提案する。
これにより、avシステム設計者は、異なるセンサー構成や方法を簡単に試すことができ、大規模なエンジニアリング組織で共有される同じモデルを使用して異種艦隊にデプロイする機能を開くことができる。
本システムを用いて,高密度(HD)LiDARセンサと低密度(LD)LiDARと3Dオブジェクト検出タスクのカメラ設定との相似性を実証する実験結果について報告する。
これにより、業界はハードウェアとソフトウェアアーキテクチャを共同で設計し、異種構成の大型車両を設計する道を開いた。
関連論文リスト
- Graph-Based Multi-Modal Sensor Fusion for Autonomous Driving [3.770103075126785]
本稿では,グラフに基づく状態表現の開発に焦点をあてた,マルチモーダルセンサ融合に対する新しいアプローチを提案する。
本稿では,マルチモーダルグラフを融合する最初のオンライン状態推定手法であるSensor-Agnostic Graph-Aware Kalman Filterを提案する。
提案手法の有効性を,合成および実世界の運転データセットを用いた広範囲な実験により検証した。
論文 参考訳（メタデータ） (2024-11-06T06:58:17Z) - Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes [56.52618054240197]
本研究では,運転シーンのロバストな意味認識のための条件対応型マルチモーダル融合手法を提案する。
CAFuserは、RGBカメラ入力を用いて環境条件を分類し、複数のセンサの融合を誘導するコンディショントークンを生成する。
MUSESデータセットでは,マルチモーダルパノプティクスセグメンテーションの59.7 PQ,セマンティックセグメンテーションの78.2 mIoU,公開ベンチマークの1位にランクインした。
論文 参考訳（メタデータ） (2024-10-14T17:56:20Z) - Orbital AI-based Autonomous Refuelling Solution [6.776059370975249]
本稿では、ドッキングおよび軌道上サーベイシング(OOS)の主センサとしてのオンボード可視光カメラの利用を成熟させるAIベースのナビゲーションアルゴリズムの開発について述べる。
複数の畳み込みニューラルネットワークバックボーンアーキテクチャは、国際宇宙ステーション(ISS)とのドッキング操作の合成データに基づいてベンチマークされる
再給油機構の物理プロトタイプと溶液の統合を、ロボットアームを用いて実験室で検証し、バーシング手順をシミュレートする。
論文 参考訳（メタデータ） (2023-09-20T21:25:52Z) - RMMDet: Road-Side Multitype and Multigroup Sensor Detection System for
Autonomous Driving [3.8917150802484994]
RMMDetは、自動運転のための道路側マルチタイプおよびマルチグループセンサー検出システムである。
ROSベースの仮想環境を用いて実環境をシミュレートする。
局所的なデータセットと実際のサンドテーブルフィールドを作成し、様々な実験を行う。
論文 参考訳（メタデータ） (2023-03-09T12:13:39Z) - HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for
Autonomous Driving [95.42203932627102]
3Dの人間のポーズ推定は、自動運転車が歩行者の微妙で複雑な振る舞いを知覚し理解できるようにする新しい技術である。
提案手法は,これらの補完信号を半教師付き方式で効率的に利用し,既存の手法よりも大きなマージンで性能を向上する。
具体的には、LiDAR点を画素整列マルチモーダル特徴に埋め込み、トランスフォーマーの精細化段階を経る。
論文 参考訳（メタデータ） (2022-12-15T11:15:14Z) - FUTR3D: A Unified Sensor Fusion Framework for 3D Detection [18.70932813595532]
ほぼ任意のセンサ構成で使用できる3D検出のための最初の統合エンドツーエンドセンサフュージョンフレームワークR3Dを提案する。
R3Dは、クエリベースのModality-Agnostic Feature Sampler (MAFS)と、3D検出のためのセット・ツー・セット・ロスを備えた変換器デコーダを採用している。
NuScenesデータセットでは、R3Dは、さまざまなセンサーの組み合わせで特別に設計されたメソッドよりも優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-03-20T20:41:55Z) - Bayesian Imitation Learning for End-to-End Mobile Manipulation [80.47771322489422]
RGB + 深度カメラのような追加のセンサー入力によるポリシーの強化は、ロボットの知覚能力を改善するための簡単なアプローチである。
畳み込みニューラルネットワークを正規化するために変分情報ボトルネックを用いることで、保持領域への一般化が向上することを示す。
提案手法は, シミュレーションと現実のギャップを埋めることと, RGBと奥行き変調をうまく融合できることを実証する。
論文 参考訳（メタデータ） (2022-02-15T17:38:30Z) - Lite-HDSeg: LiDAR Semantic Segmentation Using Lite Harmonic Dense
Convolutions [2.099922236065961]
完全3ドルのLiDAR点雲のセマンティックセグメンテーションのための,新しいリアルタイム畳み込みニューラルネットワークLite-HDSegを提案する。
提案手法は,リアルタイムに動作可能な意味セグメンテーション手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-03-16T04:54:57Z) - SensiX: A Platform for Collaborative Machine Learning on the Edge [69.1412199244903]
センサデータとセンサモデルの間に留まるパーソナルエッジプラットフォームであるSensiXを紹介する。
動作および音声に基づくマルチデバイスセンシングシステムの開発において,その有効性を示す。
評価の結果,SensiXは3mWのオーバヘッドを犠牲にして,全体の精度が7～13%向上し,環境のダイナミクスが最大30%向上することがわかった。
論文 参考訳（メタデータ） (2020-12-04T23:06:56Z) - Deep Soft Procrustes for Markerless Volumetric Sensor Alignment [81.13055566952221]
本研究では、より堅牢なマルチセンサ空間アライメントを実現するために、マーカーレスデータ駆動対応推定を改善する。
我々は、幾何学的制約を終末的に典型的なセグメンテーションベースモデルに組み込み、対象のポーズ推定タスクと中間密な分類タスクをブリッジする。
実験により,マーカーベースの手法で同様の結果が得られ,マーカーレス手法よりも優れ,またキャリブレーション構造のポーズ変動にも頑健であることがわかった。
論文 参考訳（メタデータ） (2020-03-23T10:51:32Z) - siaNMS: Non-Maximum Suppression with Siamese Networks for Multi-Camera
3D Object Detection [65.03384167873564]
サイムズネットワークは、よく知られた3Dオブジェクト検出器アプローチのパイプラインに統合される。
アソシエーションはオブジェクトの3Dボックスレグレッションを強化するために利用される。
nuScenesデータセットの実験的評価は,提案手法が従来のNMS手法よりも優れていることを示している。
論文 参考訳（メタデータ） (2020-02-19T15:32:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。