論文の概要: Towards Compact Autonomous Driving Perception with Balanced Learning and Multi-sensor Fusion
- arxiv url: http://arxiv.org/abs/2606.02979v1
- Date: Tue, 02 Jun 2026 00:35:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:04.655892
- Title: Towards Compact Autonomous Driving Perception with Balanced Learning and Multi-sensor Fusion
- Title（参考訳）: バランス学習とマルチセンサフュージョンによる小型自律走行知覚の実現に向けて
- Authors: Oskar Natan, Jun Miura,
- Abstract要約: 本稿では,自律運転認識タスクを1回の前方通過で処理する,小型な深層マルチタスク学習モデルを提案する。
このモデルは、セマンティックセグメンテーション、深度推定、光検出・測光(LiDAR)セグメンテーション、鳥の視線投影を同時に行う。
- 参考スコア（独自算出の注目度）: 5.557543974847597
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel compact deep multi-task learning model to handle various autonomous driving perception tasks in one forward pass. The model performs multiple views of semantic segmentation, depth estimation, light detection and ranging (LiDAR) segmentation, and bird's eye view projection simultaneously without being supported by other models. We also provide an adaptive loss weighting algorithm to tackle the imbalanced learning issue that occurred due to plenty of given tasks. Through data pre-processing and intermediate sensor fusion techniques, the model can process and combine multiple input modalities retrieved from RGB cameras, dynamic vision sensors (DVS), and LiDAR placed at several positions on the ego vehicle. Therefore, a better understanding of a dynamically changing environment can be achieved. Based on the ablation study, the model variant trained with our proposed method achieves a better performance. Furthermore, a comparative study is also conducted to clarify its performance and effectiveness against the combination of some recent models. As a result, our model maintains better performance even with much fewer parameters. Hence, the model can inference faster with less GPU memory utilization. Moreover, the result tends to be consistent in 3 different CARLA simulation datasets and 1 real-world nuScenes-lidarseg dataset. To support future research, we share codes and other files publicly at https://github.com/oskarnatan/compact-perception.
- Abstract（参考訳）: 本稿では,自律運転認識タスクを1回の前方通過で処理する,小型な深層マルチタスク学習モデルを提案する。
このモデルは、他のモデルにサポートされずに、セマンティックセグメンテーション、深度推定、光検出・測光(LiDAR)セグメンテーション、鳥の視線投影の複数のビューを実行する。
また,多くのタスクによって生じた不均衡な学習問題に対処するための適応的損失重み付けアルゴリズムも提供する。
データ前処理と中間センサー融合技術により、モデルはRGBカメラ、ダイナミックビジョンセンサー(DVS)およびLIDARから取得した複数の入力モダリティを、エゴ車両上の複数の位置に配置して処理および結合することができる。
したがって、動的に変化する環境をよりよく理解することができる。
アブレーション実験に基づいて,提案手法で訓練したモデル変種は,より優れた性能を実現する。
さらに,最近のモデルとの組合せに対する性能と有効性を明らかにするために,比較検討を行った。
結果として、我々のモデルは、パラメータがはるかに少ない場合でも、より良いパフォーマンスを維持します。
したがって、モデルはGPUメモリの利用を減らしてより高速に推論できる。
さらに、結果は3つの異なるCARLAシミュレーションデータセットと1つの実世界のnuScenes-lidarsegデータセットに一貫性がある傾向にある。
将来の研究をサポートするため、コードやその他のファイルをhttps://github.com/oskarnatan/compact-perception.comで公開しています。
関連論文リスト
- Smooth-Distill: A Self-distillation Framework for Multitask Learning with Wearable Sensor Data [0.0]
本稿では,人間の活動認識(HAR)とセンサ配置検出を同時に行うように設計された,新しい自己蒸留フレームワークであるSmooth-Distillを紹介する。
従来の蒸留法とは異なり, 提案手法では, モデル自体のスムーズな歴史バージョンを教師として利用している。
実験結果から,Smooth-Distill は異なる評価シナリオにおける代替手法よりも一貫して優れていた。
論文 参考訳（メタデータ） (2025-06-27T06:51:51Z) - Akkumula: Evidence accumulation driver models with Spiking Neural Networks [1.6988773509268102]
本稿では,ディープラーニング技術を用いたエビデンス蓄積モデリングフレームワークであるAkkumulaを紹介する。
ライブラリのコアはスパイキングニューラルネットワークに基づいており、その動作は生物学的脳内のエビデンス蓄積プロセスを模倣している。
このモデルは、車両センサデータに基づく車両制御の時間経過によく適合する。
論文 参考訳（メタデータ） (2025-04-30T10:03:11Z) - Data-Driven Approaches for Modelling Target Behaviour [1.5495593104596401]
追跡アルゴリズムの性能は、対象の力学に関する選択されたモデル仮定に依存する。
本稿では,物体の動きを記述するために機械学習を利用する3つの異なる手法の比較研究を行う。
論文 参考訳（メタデータ） (2024-10-14T14:18:27Z) - Spatially Optimized Compact Deep Metric Learning Model for Similarity Search [1.0015171648915433]
類似性探索は空間的特徴が重要な出力を決定する重要なタスクである。
本研究では,コンパクトな畳み込みモデルとともに単一の畳み込み特徴抽出器の層を利用することにより,類似性探索の性能が著しく向上することを示す。
論文 参考訳（メタデータ） (2024-04-09T19:49:01Z) - MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。
事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。
SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。
我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
論文 参考訳（メタデータ） (2024-03-20T09:17:22Z) - An Empirical Study of Multimodal Model Merging [148.48412442848795]
モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。
我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。
本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
論文 参考訳（メタデータ） (2023-04-28T15:43:21Z) - Can Deep Learning be Applied to Model-Based Multi-Object Tracking? [25.464269324261636]
マルチオブジェクトトラッキング(MOT)は、ノイズ測定を用いて未知の、時間変化のあるオブジェクトの状態をトラッキングする問題である。
ディープラーニング(DL)は、トラッキングパフォーマンスを改善するために、MOTでますます使われている。
本稿では,TransformerベースのDLトラッカーを提案し,その性能をモデルベースで評価する。
論文 参考訳（メタデータ） (2022-02-16T07:43:08Z) - STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。
実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
論文 参考訳（メタデータ） (2021-07-15T02:53:11Z) - DecAug: Augmenting HOI Detection via Decomposition [54.65572599920679]
現在のアルゴリズムでは、データセット内のトレーニングサンプルやカテゴリの不均衡が不足している。
本稿では,HOI検出のためのDECAugと呼ばれる効率的かつ効率的なデータ拡張手法を提案する。
実験の結果,V-COCOおよびHICODETデータセットの3.3mAPと1.6mAPの改善が得られた。
論文 参考訳（メタデータ） (2020-10-02T13:59:05Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。