論文の概要: On-device Self-supervised Learning of Visual Perception Tasks aboard Hardware-limited Nano-quadrotors

• arxiv url: http://arxiv.org/abs/2403.04071v1
• Date: Wed, 6 Mar 2024 22:04:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 15:55:45.300256
• Title: On-device Self-supervised Learning of Visual Perception Tasks aboard Hardware-limited Nano-quadrotors
• Title（参考訳）: ハードウェア制限型ナノクアドロレータによる視覚知覚タスクのオンデバイス自己教師付き学習
• Authors: Elia Cereda, Manuele Rusci, Alessandro Giusti, Daniele Palossi
• Abstract要約: SI50グラム以下のナノドロンは、学術と産業の両方で勢いを増している。 彼らの最も魅力的なアプリケーションは、知覚のためのディープラーニングモデルに依存している。 未知の環境にデプロイする場合、これらのモデルはドメインシフトによってパフォーマンスが低下することが多い。 本研究では,ナノドローンを用いたデバイス上での学習を初めて提案する。
• 参考スコア（独自算出の注目度）: 53.59319391812798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sub-\SI{50}{\gram} nano-drones are gaining momentum in both academia and industry. Their most compelling applications rely on onboard deep learning models for perception despite severe hardware constraints (\ie sub-\SI{100}{\milli\watt} processor). When deployed in unknown environments not represented in the training data, these models often underperform due to domain shift. To cope with this fundamental problem, we propose, for the first time, on-device learning aboard nano-drones, where the first part of the in-field mission is dedicated to self-supervised fine-tuning of a pre-trained convolutional neural network (CNN). Leveraging a real-world vision-based regression task, we thoroughly explore performance-cost trade-offs of the fine-tuning phase along three axes: \textit{i}) dataset size (more data increases the regression performance but requires more memory and longer computation); \textit{ii}) methodologies (\eg fine-tuning all model parameters vs. only a subset); and \textit{iii}) self-supervision strategy. Our approach demonstrates an improvement in mean absolute error up to 30\% compared to the pre-trained baseline, requiring only \SI{22}{\second} fine-tuning on an ultra-low-power GWT GAP9 System-on-Chip. Addressing the domain shift problem via on-device learning aboard nano-drones not only marks a novel result for hardware-limited robots but lays the ground for more general advancements for the entire robotics community.
• Abstract（参考訳）: サブSI{50}{\gram} ナノドロンは、学術と産業の両方で勢いを増している。 彼らの最も説得力のあるアプリケーションは、ハードウェアの厳しい制約にもかかわらず、知覚のためのディープラーニングモデルに依存している(\ie sub-\si{100}{\milli\watt}プロセッサ)。 トレーニングデータに表現されていない未知の環境にデプロイする場合、これらのモデルはドメインシフトによってパフォーマンスが低下することが多い。 この根本的な問題に対処するために,我々は初めてナノドロネスを用いたデバイス上での学習を提案し,そこでは前訓練型畳み込みニューラルネットワーク(cnn)の自己教師あり微調整を目的とする。 実世界のビジョンに基づく回帰タスクの活用により、3つの軸に沿って微調整フェーズのパフォーマンスコストトレードオフを徹底的に検討する: \textit{i}) データセットサイズ(より多くのデータが回帰パフォーマンスを増加させるが、メモリと長い計算を必要とする)、 \textit{ii}) 方法論(すべてのモデルパラメータをサブセットのみに対して微調整する)、および \textit{iii}) 自己スーパービジョン戦略。 提案手法では,超低消費電力のGWT GAP9 System-on-Chip上でのSI{22}{\second}微調整しか必要とせず,事前訓練されたベースラインに比べて平均絶対誤差が最大30%向上することを示した。 ナノドロネスによるオンデバイス学習によるドメインシフト問題に対処することは、ハードウェア制限されたロボットにとって新しい結果を示すだけでなく、ロボティクスコミュニティ全体のより一般的な進歩の基盤となる。

関連論文リスト

• High-throughput Visual Nano-drone to Nano-drone Relative Localization using Onboard Fully Convolutional Networks [51.23613834703353]
  相対的なドローンとドローンのローカライゼーションは、どんなSwarm操作でも基本的なビルディングブロックである。 我々は、新しいビジョンベース完全畳み込みニューラルネットワーク(FCNN)に基づく垂直統合システムを提案する。 その結果,水平画像座標で32～47%,垂直画像座標で18～55%,実世界の30k画像のデータセットでR2乗改善が得られた。
  論文  参考訳（メタデータ） (2024-02-21T12:34:31Z)
• Adaptive Deep Learning for Efficient Visual Pose Estimation aboard Ultra-low-power Nano-drones [5.382126081742012]
  視覚に基づく人間のポーズ推定タスクを効率的に実行するための適応的深層学習に基づく新しいメカニズムを提案する。 実世界のデータセットと実際のナノドロンのハードウェアでは,平均絶対誤差(MAE)を維持しながら28%のレイテンシ低減を実現し,アイソレイテンシでは3%のMAE削減,絶対ピーク性能,すなわちSoAモデルよりも6%向上した。
  論文  参考訳（メタデータ） (2024-01-26T23:04:26Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• An Unbiased Look at Datasets for Visuo-Motor Pre-Training [20.094244564603184]
  データセットの選択は、このパラダイムの成功と同じくらい重要です。 従来の視覚データセットは、ビジュオモダ表現学習の驚くほど競争力のある選択肢である。 シミュレーションベンチマークは実世界のパフォーマンスの信頼できるプロキシではないことを示す。
  論文  参考訳（メタデータ） (2023-10-13T17:59:02Z)
• On-Device Domain Generalization [93.79736882489982]
  ドメインの一般化はデバイス上の機械学習アプリケーションにとって重要である。 知識蒸留がこの問題の解決の有力な候補であることがわかった。 本研究では,教師が配布外データをどのように扱えるかを学生に教えることを目的とした,配布外知識蒸留(OKD)という簡単なアイデアを提案する。
  論文  参考訳（メタデータ） (2022-09-15T17:59:31Z)
• Deep Imitation Learning for Bimanual Robotic Manipulation [70.56142804957187]
  本稿では,ロボットによるバイマニュアル操作のための深層模倣学習フレームワークを提案する。 中心となる課題は、操作スキルを異なる場所にあるオブジェクトに一般化することである。 i)マルチモーダルダイナミクスを要素運動プリミティブに分解し、(ii)リカレントグラフニューラルネットワークを用いて各プリミティブをパラメータ化して相互作用を捕捉し、(iii)プリミティブを逐次的に構成する高レベルプランナと、プリミティブダイナミクスと逆運動学制御を組み合わせた低レベルコントローラを統合することを提案する。
  論文  参考訳（メタデータ） (2020-10-11T01:40:03Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)
• Prune2Edge: A Multi-Phase Pruning Pipelines to Deep Ensemble Learning in IIoT [0.0]
  IIoTデバイス上での学習をアンサンブルするためのエッジベースのマルチフェーズ・プルーニングパイプラインを提案する。 第1フェーズでは、様々なプルーンドモデルのアンサンブルを生成し、次いで整数量子化を適用し、次にクラスタリングに基づく手法を用いて生成されたアンサンブルをプルークする。 提案手法は,ベースラインモデルの予測可能性レベルより優れていた。
  論文  参考訳（メタデータ） (2020-04-09T17:44:34Z)
• Efficient Training of Deep Convolutional Neural Networks by Augmentation in Embedding Space [24.847651341371684]
  データが少ないアプリケーションでは、ディープラーニングモデルの一般化を改善するために、転送学習とデータ拡張技術が一般的に使用される。 生入力空間におけるデータ拡張を伴う転送モデルを微調整すると、拡張入力毎に全ネットワークを実行するのに高い計算コストがかかる。 本稿では, 生の入力空間における拡張を, 埋め込み空間において純粋に作用する近似的に置き換える手法を提案する。
  論文  参考訳（メタデータ） (2020-02-12T03:26:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。