論文の概要: Achelous++: Power-Oriented Water-Surface Panoptic Perception Framework
on Edge Devices based on Vision-Radar Fusion and Pruning of Heterogeneous
Modalities
- arxiv url: http://arxiv.org/abs/2312.08851v1
- Date: Thu, 14 Dec 2023 12:10:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-15 22:51:09.651453
- Title: Achelous++: Power-Oriented Water-Surface Panoptic Perception Framework
on Edge Devices based on Vision-Radar Fusion and Pruning of Heterogeneous
Modalities
- Title（参考訳）: achelous++: vision-radar fusion と pruning of hetero modalities に基づくエッジデバイス上での電力指向型水面感応フレームワーク
- Authors: Runwei Guan, Haocheng Zhao, Shanliang Yao, Ka Lok Man, Xiaohui Zhu,
Limin Yu, Yong Yue, Jeremy Smith, Eng Gee Lim, Weiping Ding, Yutao Yue
- Abstract要約: 本稿では,マルチタスク水面汎視知覚モデルの開発と評価を容易にするフレームワークであるAchelous++を提案する。
Achelous++は、オブジェクト検出、オブジェクトセマンティックセグメンテーション、乾燥可能な領域セグメンテーション、ウォーターラインセグメンテーション、レーダーポイントクラウドセマンティックセグメンテーションを含む、高速で低消費電力の5つの知覚タスクを同時に実行することができる。
我々のフレームワークはWaterScenesベンチマークの最先端性能を実現し、他のシングルタスクモデルやマルチタスクモデルと比較して精度と電力効率に優れています。
- 参考スコア（独自算出の注目度）: 11.793123307886196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Urban water-surface robust perception serves as the foundation for
intelligent monitoring of aquatic environments and the autonomous navigation
and operation of unmanned vessels, especially in the context of waterway
safety. It is worth noting that current multi-sensor fusion and multi-task
learning models consume substantial power and heavily rely on high-power GPUs
for inference. This contributes to increased carbon emissions, a concern that
runs counter to the prevailing emphasis on environmental preservation and the
pursuit of sustainable, low-carbon urban environments. In light of these
concerns, this paper concentrates on low-power, lightweight, multi-task
panoptic perception through the fusion of visual and 4D radar data, which is
seen as a promising low-cost perception method. We propose a framework named
Achelous++ that facilitates the development and comprehensive evaluation of
multi-task water-surface panoptic perception models. Achelous++ can
simultaneously execute five perception tasks with high speed and low power
consumption, including object detection, object semantic segmentation,
drivable-area segmentation, waterline segmentation, and radar point cloud
semantic segmentation. Furthermore, to meet the demand for developers to
customize models for real-time inference on low-performance devices, a novel
multi-modal pruning strategy known as Heterogeneous-Aware SynFlow (HA-SynFlow)
is proposed. Besides, Achelous++ also supports random pruning at initialization
with different layer-wise sparsity, such as Uniform and Erdos-Renyi-Kernel
(ERK). Overall, our Achelous++ framework achieves state-of-the-art performance
on the WaterScenes benchmark, excelling in both accuracy and power efficiency
compared to other single-task and multi-task models. We release and maintain
the code at https://github.com/GuanRunwei/Achelous.
- Abstract（参考訳）: 水環境のインテリジェントな監視と無人船の自律的な航行と運用の基礎として、特に水路の安全の文脈において、都市水面の堅牢な認識が役立っている。
現在のマルチセンサー融合とマルチタスク学習モデルは、かなりの電力を消費し、推論にはgpuに大きく依存している点に注意が必要だ。
これは二酸化炭素排出量の増加に寄与し、環境保全と持続可能で低炭素の都市環境の追求に重点を置いている。
これらの懸念を踏まえて,視覚と4次元レーダデータの融合による低消費電力,軽量,マルチタスクのパンオプティカル知覚に焦点をあてた。
マルチタスク水面汎視知覚モデルの開発と総合評価を容易にするフレームワークAchelous++を提案する。
achelous++は、オブジェクト検出、オブジェクトセマンティクスセグメンテーション、ドリブル領域セグメンテーション、ウォーターラインセグメンテーション、レーダーポイントクラウドセグメンテーションを含む、高速かつ低消費電力の5つの知覚タスクを同時に実行することができる。
さらに、低性能デバイス上でのリアルタイム推論のためにモデルをカスタマイズする需要に応えるため、Herogeneous-Aware SynFlow(HA-SynFlow)と呼ばれる新しいマルチモーダルプルーニング戦略を提案する。
さらに、Achelous++はUniformやErdos-Renyi-Kernel(ERK)など、異なるレイヤ幅で初期化時にランダムプルーニングをサポートする。
全体として、我々のAchelous++フレームワークはWaterScenesベンチマークで最先端のパフォーマンスを実現し、他のシングルタスクモデルやマルチタスクモデルと比較して精度と電力効率に優れています。
コードをhttps://github.com/guanrunwei/achelousでリリースし、メンテナンスしています。
関連論文リスト
- Towards an Autonomous Surface Vehicle Prototype for Artificial Intelligence Applications of Water Quality Monitoring [68.41400824104953]
本稿では,人工知能アルゴリズムの利用と水質モニタリングのための高感度センシング技術に対処する車両プロトタイプを提案する。
車両には水質パラメータと水深を測定するための高品質なセンサーが装備されている。
ステレオカメラにより、実際の環境でのマクロプラスチックの検出と検出も可能である。
論文 参考訳（メタデータ） (2024-10-08T10:35:32Z) - ASY-VRNet: Waterway Panoptic Driving Perception Model based on Asymmetric Fair Fusion of Vision and 4D mmWave Radar [7.2865477881451755]
非対称フェアフュージョン(AFF)モジュールは、視覚とレーダーの両方から独立した特徴と効率的に相互作用するように設計されている。
ASY-VRNetモデルは不規則な超画素点集合に基づいて画像とレーダの特徴を処理する。
他の軽量モデルと比較して、ASY-VRNetはオブジェクト検出、セマンティックセグメンテーション、乾燥可能な領域セグメンテーションにおける最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-08-20T14:53:27Z) - Vision-Based Autonomous Navigation for Unmanned Surface Vessel in
Extreme Marine Conditions [2.8983738640808645]
本稿では,極端海洋環境下での目標物追跡のための自律的視覚に基づくナビゲーション・フレームワークを提案する。
提案手法は砂嵐や霧による可視性低下下でのシミュレーションで徹底的に検証されている。
結果は、ベンチマークしたMBZIRCシミュレーションデータセット全体にわたる最先端のデハージング手法と比較される。
論文 参考訳（メタデータ） (2023-08-08T14:25:13Z) - Achelous: A Fast Unified Water-surface Panoptic Perception Framework
based on Fusion of Monocular Camera and 4D mmWave Radar [7.225125838672763]
現在のマルチタスク認識モデルは、パラメータが巨大で、推論が遅く、拡張性がない。
本研究では,モノクロカメラと4D mmWaveレーダの融合に基づく水面認識のための低コストで高速な一眼レフ知覚フレームワークであるAchelousを提案する。
アシェルスは同時に、視覚的目標の検出とセグメンテーション、乾燥可能な領域セグメンテーション、ウォーターラインセグメンテーション、レーダーポイントクラウドセグメンテーションの5つのタスクを実行することができる。
論文 参考訳（メタデータ） (2023-07-14T00:24:30Z) - WaterScenes: A Multi-Task 4D Radar-Camera Fusion Dataset and Benchmarks for Autonomous Driving on Water Surfaces [12.755813310009179]
WaterScenesは、水面での自律走行のための最初のマルチタスク4Dレーダーカメラ融合データセットである。
我々の無人表面車両(USV)は、オブジェクト関連の情報を識別するための全天候のソリューションを提供する。
論文 参考訳（メタデータ） (2023-07-13T01:05:12Z) - Semantic-aware Texture-Structure Feature Collaboration for Underwater
Image Enhancement [58.075720488942125]
水中画像の強調は海洋工学や水生ロボット工学において重要な技術として注目されている。
我々は,高レベルな意味認識事前学習モデルと協調して,効率的でコンパクトな拡張ネットワークを開発する。
また,提案手法を水中の有意な物体検出タスクに適用し,高レベルの視覚タスクに適した意味認識能力を明らかにする。
論文 参考訳（メタデータ） (2022-11-19T07:50:34Z) - SHIFT: A Synthetic Driving Dataset for Continuous Multi-Task Domain
Adaptation [152.60469768559878]
ShiFTは、自動運転のための最大規模のマルチタスク合成データセットである。
曇り、雨と霧の強さ、昼の時間、車と歩行者の密度を個別に連続的に変化させる。
私たちのデータセットとベンチマークツールキットはwww.vis.xyz/shift.comで公開されています。
論文 参考訳（メタデータ） (2022-06-16T17:59:52Z) - Towards bio-inspired unsupervised representation learning for indoor
aerial navigation [4.26712082692017]
本研究では,生物にインスパイアされた深層学習アルゴリズムによる同時位置決めとマッピング(SLAM)とそのドローンナビゲーションシステムへの応用について述べる。
本稿では,低次元潜在状態記述子を出力し,知覚的エイリアスに対する感度を軽減し,高効率な組込みハードウェアの開発を行う教師なし表現学習手法を提案する。
設計したアルゴリズムは,室内の倉庫環境において収集されたデータセットに基づいて評価され,最初の結果はロバストな屋内航法の実現可能性を示している。
論文 参考訳（メタデータ） (2021-06-17T08:42:38Z) - Occupancy Anticipation for Efficient Exploration and Navigation [97.17517060585875]
そこで我々は,エージェントが自我中心のRGB-D観測を用いて,その占有状態を可視領域を超えて推定する,占有予測を提案する。
エゴセントリックなビューとトップダウンマップの両方でコンテキストを活用することで、私たちのモデルは環境のより広いマップを予測できます。
われわれのアプローチは、2020 Habitat PointNav Challengeの優勝だ。
論文 参考訳（メタデータ） (2020-08-21T03:16:51Z) - Anchor-free Small-scale Multispectral Pedestrian Detection [88.7497134369344]
適応型単一段アンカーフリーベースアーキテクチャにおける2つのモードの効果的かつ効率的な多重スペクトル融合法を提案する。
我々は,直接的境界ボックス予測ではなく,対象の中心と規模に基づく歩行者表現の学習を目指す。
その結果,小型歩行者の検出における本手法の有効性が示唆された。
論文 参考訳（メタデータ） (2020-08-19T13:13:01Z) - PAN: Towards Fast Action Recognition via Learning Persistence of
Appearance [60.75488333935592]
最先端のほとんどの手法は、動きの表現として密度の高い光の流れに大きく依存している。
本稿では,光学的フローに依存することで,高速な動作認識に光を当てる。
我々はPersistence of Outearance(PA)と呼ばれる新しい動きキューを設計する。
光学的流れとは対照的に,我々のPAは境界における運動情報の蒸留に重点を置いている。
論文 参考訳（メタデータ） (2020-08-08T07:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。