論文の概要: Multi-modal On-Device Learning for Monocular Depth Estimation on Ultra-low-power MCUs

• arxiv url: http://arxiv.org/abs/2512.00086v1
• Date: Wed, 26 Nov 2025 09:46:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.05354
• Title: Multi-modal On-Device Learning for Monocular Depth Estimation on Ultra-low-power MCUs
• Title（参考訳）: 超低消費電力MCUにおける単眼深度推定のためのマルチモーダルオンデバイス学習
• Authors: Davide Nadalini, Manuele Rusci, Elia Cereda, Luca Benini, Francesco Conti, Daniele Palossi,
• Abstract要約: モノクル深度推定(MDE)は、ウルトラ低消費電力(ULP)IoT(Internet-of-Things)プラットフォームにおける空間認識アプリケーションを実現する上で重要な役割を果たす。 80mWの単眼カメラと8×8ピクセルの奥行きセンサを統合したIoTデバイス上に展開するマルチモーダルオンデバイスラーニング(ODL)技術を提案する。 フィールド内テストでは、初めて、IoTノード上で、ODL for MDEを17.8分で実行し、ルート平均2乗誤差を4.9から0.6mに減らし、3kの自己ラベル付きで行うことができた。
• 参考スコア（独自算出の注目度）: 20.500632071926223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monocular depth estimation (MDE) plays a crucial role in enabling spatially-aware applications in Ultra-low-power (ULP) Internet-of-Things (IoT) platforms. However, the limited number of parameters of Deep Neural Networks for the MDE task, designed for IoT nodes, results in severe accuracy drops when the sensor data observed in the field shifts significantly from the training dataset. To address this domain shift problem, we present a multi-modal On-Device Learning (ODL) technique, deployed on an IoT device integrating a Greenwaves GAP9 MicroController Unit (MCU), a 80 mW monocular camera and a 8 x 8 pixel depth sensor, consuming $\approx$300mW. In its normal operation, this setup feeds a tiny 107 k-parameter $μ$PyD-Net model with monocular images for inference. The depth sensor, usually deactivated to minimize energy consumption, is only activated alongside the camera to collect pseudo-labels when the system is placed in a new environment. Then, the fine-tuning task is performed entirely on the MCU, using the new data. To optimize our backpropagation-based on-device training, we introduce a novel memory-driven sparse update scheme, which minimizes the fine-tuning memory to 1.2 MB, 2.2x less than a full update, while preserving accuracy (i.e., only 2% and 1.5% drops on the KITTI and NYUv2 datasets). Our in-field tests demonstrate, for the first time, that ODL for MDE can be performed in 17.8 minutes on the IoT node, reducing the root mean squared error from 4.9 to 0.6m with only 3 k self-labeled samples, collected in a real-life deployment scenario.
• Abstract（参考訳）: モノクル深度推定(MDE)は、ウルトラ低消費電力(ULP)IoT(Internet-of-Things)プラットフォームにおける空間認識アプリケーションを実現する上で重要な役割を果たす。 しかし、IoTノード用に設計されたMDEタスクのためのDeep Neural Networksのパラメータの制限により、フィールドで観測されたセンサーデータがトレーニングデータセットから大きくシフトすると、深刻な精度低下が発生する。 このドメインシフト問題に対処するために、Greenwaves GAP9 MicroController Unit(MCU)と80mWの単眼カメラと8×8ピクセルの深度センサーを統合したIoTデバイス上に展開するマルチモーダルオンデバイスラーニング(ODL)技術を提案する。 通常の操作では、107kパラメーター$μ$PyD-Netモデルに単眼画像で推論を行う。 奥行きセンサーは、通常エネルギー消費を最小限に抑えるために非活性化され、カメラと一緒に作動して、システムが新しい環境に置かれたときに擬似ラベルを収集する。 そして、新しいデータを用いて、完全にMCU上で微調整タスクを行う。 バックプロパゲーションベースのオンデバイストレーニングを最適化するために、新しいメモリ駆動スパース更新スキームを導入し、精度を維持しながら、微調整メモリを1.2MB、フルアップデートより2.2倍小さくする(KITTIとNYUv2データセットの2%と1.5%のダウン)。 フィールド内テストでは、IoTノード上で初めて、ODL for MDEが17.8分で実行可能であることを示し、実際のデプロイメントシナリオで収集された3kの自己ラベルされたサンプルで、ルート平均2乗誤差を4.9から0.6mに削減しました。

関連論文リスト

• End-to-End Efficiency in Keyword Spotting: A System-Level Approach for Embedded Microcontrollers [0.18472148461613155]
  KWS(Keywords Spoting)は、組み込みデバイスとIoTデバイスのハンズフリーインタラクションを可能にする重要な技術である。 本研究では,DS-CNN,LiCoNet,TENetなどの最先端の軽量ニューラルネットワークアーキテクチャと,MobileNet上に構築したTypman-KWSアーキテクチャを比較した。 この結果から, 3つの残差ブロックを持つTKWSは, 14.4kパラメータしか持たない92.4%のF1スコアが得られることがわかった。
  論文  参考訳（メタデータ） (2025-09-08T16:01:55Z)
• Energy-Efficient Deep Learning for Traffic Classification on Microcontrollers [1.3124513975412255]
  本稿では,資源限定マイクロコントローラ上でのエネルギー効率の高いトラフィック分類のための実用的なディープラーニング(DL)手法を提案する。 ISCX VPN-Non-VPNデータセット上で96.59%の精度を実現するハードウェア対応ニューラルアーキテクチャサーチ(HW-NAS)により最適化された軽量な1D-CNNを開発する。 2つのマイクロコントローラにおける実世界の推論性能を評価する。
  論文  参考訳（メタデータ） (2025-06-12T16:10:22Z)
• DSORT-MCU: Detecting Small Objects in Real-Time on Microcontroller Units [1.4447019135112429]
  本稿では,YOLOモデルや一般的なFOMOネットワークを含む,軽量でエネルギー効率の高い物体検出ネットワークに対する適応型タイリング手法を提案する。 提案したタイリングにより,大規模検出モデルと比較して精度が損なわれることなく,低消費電力のMCU上で物体検出が可能となる。
  論文  参考訳（メタデータ） (2024-10-22T07:37:47Z)
• Enhancing Lightweight Neural Networks for Small Object Detection in IoT Applications [1.6932009464531739]
  そこで本研究では,既存の物体検出装置上で使用可能な適応型タイリング手法を提案する。 実験の結果,提案手法はF1スコアを最大225%向上し,平均オブジェクト数誤差を最大76%削減できることがわかった。
  論文  参考訳（メタデータ） (2023-11-13T08:58:34Z)
• Ultra-low Power Deep Learning-based Monocular Relative Localization Onboard Nano-quadrotors [64.68349896377629]
  この研究は、2つのピアナノドロンのディープニューラルネットワーク(DNN)を介して、単分子の相対的な局所化に対処する、新しい自律的なエンドツーエンドシステムを示す。 超制約ナノドローンプラットフォームに対処するため,データセットの増大,量子化,システム最適化などを含む垂直統合フレームワークを提案する。 実験の結果,DNNは低分解能モノクローム画像のみを用いて最大2mの距離で10cmのターゲットナノドローンを正確に局在させることができることがわかった。
  論文  参考訳（メタデータ） (2023-03-03T14:14:08Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• PhiNets: a scalable backbone for low-power AI at the edge [2.7910505923792646]
  PhiNetsは、リソース制約のあるプラットフォーム上でのディープラーニングベースの画像処理に最適化された、スケーラブルなバックボーンである。 PhiNetは計算コスト、動作メモリ、パラメータメモリを分離するために特別に設計された逆残差ブロックに基づいている。 STM32H743マイクロコントローラをベースとしたプロトタイプノードへのアプローチを実証する。
  論文  参考訳（メタデータ） (2021-10-01T12:03:25Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)
• Near-chip Dynamic Vision Filtering for Low-Bandwidth Pedestrian Detection [99.94079901071163]
  本稿では、ダイナミックビジョンセンサ(DVS)を用いた歩行者検出のための新しいエンドツーエンドシステムを提案する。 我々は、複数のセンサがローカル処理ユニットにデータを送信し、検出アルゴリズムを実行するアプリケーションをターゲットにしている。 我々の検出器は450ミリ秒毎に検出を行うことができ、総合的なテストF1スコアは83%である。
  論文  参考訳（メタデータ） (2020-04-03T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。