論文の概要: Tiny-DroNeRF: Tiny Neural Radiance Fields aboard Federated Learning-enabled Nano-drones
- arxiv url: http://arxiv.org/abs/2603.01850v1
- Date: Mon, 02 Mar 2026 13:30:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.889932
- Title: Tiny-DroNeRF: Tiny Neural Radiance Fields aboard Federated Learning-enabled Nano-drones
- Title(参考訳): Tiny-DroNeRF:Federated Learning-alia Nano-drones搭載のTiny Neural Radiance Fields
- Authors: Ilenia Carboni, Elia Cereda, Lorenzo Lamberti, Daniele Malpetti, Francesco Conti, Daniele Palossi,
- Abstract要約: 30g以下のナノサイズの空中ロボットは、その俊敏性とフォームファクタを利用して、散らかった狭い環境を自律的に探索することができる。
しかし、その小さなサイズの価格はリソースの強力な制限であり、$sim$100 GOps/s、メモリ予算は100MBをはるかに下回っている。
我々は,高密度な3次元シーン再構成など,ナノドロンの複雑な視覚ベースのタスクの実現を目指している。
- 参考スコア(独自算出の注目度): 5.633638769909838
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sub-30g nano-sized aerial robots can leverage their agility and form factor to autonomously explore cluttered and narrow environments, like in industrial inspection and search and rescue missions. However, the price for their tiny size is a strong limit in their resources, i.e., sub-100 mW microcontroller units (MCUs) delivering $\sim$100 GOps/s at best, and memory budgets well below 100 MB. Despite these strict constraints, we aim to enable complex vision-based tasks aboard nano-drones, such as dense 3D scene reconstruction: a key robotic task underlying fundamental capabilities like spatial awareness and motion planning. Top-performing 3D reconstruction methods leverage neural radiance fields (NeRF) models, which require GBs of memory and massive computation, usually delivered by high-end GPUs consuming 100s of Watts. Our work introduces Tiny-DroNeRF, a lightweight NeRF model, based on Instant-NGP, and optimized for running on a GAP9 ultra-low-power (ULP) MCU aboard our nano-drones. Then, we further empower our Tiny-DroNeRF by leveraging a collaborative federated learning scheme, which distributes the model training among multiple nano-drones. Our experimental results show a 96% reduction in Tiny-DroNeRF's memory footprint compared to Instant-NGP, with only a 5.7 dB drop in reconstruction accuracy. Finally, our federated learning scheme allows Tiny-DroNeRF to train with an amount of data otherwise impossible to keep in a single drone's memory, increasing the overall reconstruction accuracy. Ultimately, our work combines, for the first time, NeRF training on an ULP MCU with federated learning on nano-drones.
- Abstract(参考訳): 30g以下のナノサイズの空中ロボットは、機敏さとフォームファクタを利用して、産業検査や捜索、救助任務など、散らかった狭い環境を自律的に探索することができる。
しかし、その小さなサイズの価格はリソースの強力な制限、すなわち100MB未満のメモリ予算で100GOps/sの$$\sim$100のマイクロコントローラユニット(MCU)である。
このような厳密な制約にもかかわらず、我々は、高密度な3Dシーン再構成のようなナノドロンの複雑な視覚ベースのタスクを可能にすることを目指している。
トップパフォーマンスの3D再構成方法は、通常100ワットのWattを消費するハイエンドGPUによって配信される、GBのメモリと大規模計算を必要とするNeRFモデルを活用する。
Instant-NGPをベースとした軽量NeRFモデルであるTiny-DroNeRFを導入し、ナノドロンのGAP9超低消費電力(ULP)MCU上での動作に最適化した。
次に,複数のナノドロンのモデルトレーニングを分散する協調学習手法を活用することにより,Tiny-DroNeRFをさらに強化する。
実験の結果,Tiny-DroNeRFのメモリフットプリントはInstant-NGPと比較して96%減少し,再建精度は5.7dB程度であった。
最後に、当社のフェデレーション学習方式により、Tiny-DroNeRFは単一のドローンのメモリに保持できない大量のデータをトレーニングでき、全体の再構築精度が向上する。
最終的に私たちの研究は、ULP MCUでのNeRFトレーニングとナノドロンの連合学習を組み合わせたものです。
関連論文リスト
- NanoCockpit: Performance-optimized Application Framework for AI-based Autonomous Nanorobotics [50.594459728605734]
小型のフォームファクタ、すなわち10sグラムは、計算資源をSI100ミリワット以下のマイクロコントローラユニット(MCU)に著しく制限する。
本フレームワークは,タスクのシリアライズによるオーバーヘッドをゼロにすることで,クローズドループ制御性能の定量的改善を実現する。
論文 参考訳(メタデータ) (2026-01-12T12:29:38Z) - Training on the Fly: On-device Self-supervised Learning aboard Nano-drones within 20 mW [52.280742520586756]
ナノドローンのような小さな機械学習(TinyML)を利用した小型サイバー物理システム(CPS)は、ますます魅力的な技術になりつつある。
単純な電子回路はこれらのCPSを安価にすることができるが、計算、メモリ、センサーの資源を著しく制限する。
本稿では,ナノドロンの限られた超低消費電力資源にのみ依存する,オンデバイスファインチューニング手法を提案する。
論文 参考訳(メタデータ) (2024-08-06T13:11:36Z) - Tiny-PULP-Dronets: Squeezing Neural Networks for Faster and Lighter Inference on Multi-Tasking Autonomous Nano-Drones [12.96119439129453]
この研究は、ナノドロンの自律ナビゲーションのためのステート・オブ・ザ・アート畳み込みニューラルネットワークであるPULP-Dronetから、モデルサイズを1桁以上圧縮する新しい手法であるTiny-PULP-Dronetへと移行した。
この大規模な削減は、高レベルのインテリジェンスを達成するための基本的な要件であるナノドロンの安価なマルチタスクへの道を開く。
論文 参考訳(メタデータ) (2024-07-02T16:24:57Z) - On-device Self-supervised Learning of Visual Perception Tasks aboard
Hardware-limited Nano-quadrotors [53.59319391812798]
SI50グラム以下のナノドロンは、学術と産業の両方で勢いを増している。
彼らの最も魅力的なアプリケーションは、知覚のためのディープラーニングモデルに依存している。
未知の環境にデプロイする場合、これらのモデルはドメインシフトによってパフォーマンスが低下することが多い。
本研究では,ナノドローンを用いたデバイス上での学習を初めて提案する。
論文 参考訳(メタデータ) (2024-03-06T22:04:14Z) - High-throughput Visual Nano-drone to Nano-drone Relative Localization using Onboard Fully Convolutional Networks [51.23613834703353]
相対的なドローンとドローンのローカライゼーションは、どんなSwarm操作でも基本的なビルディングブロックである。
我々は、新しいビジョンベース完全畳み込みニューラルネットワーク(FCNN)に基づく垂直統合システムを提案する。
その結果,水平画像座標で32~47%,垂直画像座標で18~55%,実世界の30k画像のデータセットでR2乗改善が得られた。
論文 参考訳(メタデータ) (2024-02-21T12:34:31Z) - Channel-Aware Distillation Transformer for Depth Estimation on Nano
Drones [9.967643080731683]
本稿では,ナノドローンの障害物回避のための軽量CNN深度推定ネットワークを提案する。
知識蒸留(KD)にインスパイアされたCADiT (Channel-Aware Distillation Transformer) を提案する。
提案手法はKITTIデータセット上で検証され,超低消費電力マイクロプロセッサGAP8を用いたナノドローンCrzyflieで試験された。
論文 参考訳(メタデータ) (2023-03-18T10:45:34Z) - Deep Neural Network Architecture Search for Accurate Visual Pose
Estimation aboard Nano-UAVs [69.19616451596342]
小型無人航空機(UAV)は、新興かつトレンドのトピックである。
我々は、新しいニューラルネットワーク探索(NAS)技術を活用し、視覚的ポーズ推定タスクのために複数の畳み込みニューラルネットワーク(CNN)を自動的に識別する。
その結果,10Hz@10mWおよび50Hz@90mWの実時間オンボード推算速度を達成しつつ,フィールド内制御誤差を32%低減し,現状を改善できた。
論文 参考訳(メタデータ) (2023-03-03T14:02:09Z) - Deep Learning on Home Drone: Searching for the Optimal Architecture [54.535788447839884]
そこで我々は,Raspberry Pi Zero v2のような弱いマイクロコンピュータ上で,学習によってリアルタイムなセマンティックセマンティックセマンティクスを実行するシステムを提案する。
特にRaspberry Piの重さは16ドル(約1万2000円)以下で、クレジットカードの半分程度なので、市販のDJI Telloのおもちゃに簡単に取り付けることができます。
その結果、自律ドローンは、オンボードのモノクロRGBカメラのビデオストリームからオブジェクトをリアルタイムで検出し、分類することができる。
論文 参考訳(メタデータ) (2022-09-21T11:41:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。