論文の概要: FORGE: Forward-Only Test-Time Adaptation for Integer-Only Vision Models on Microcontrollers
- arxiv url: http://arxiv.org/abs/2609.01683v1
- Date: Tue, 01 Sep 2026 13:59:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:17.664568
- Title: FORGE: Forward-Only Test-Time Adaptation for Integer-Only Vision Models on Microcontrollers
- Title（参考訳）: FORGE:マイクロコントローラ上での整数オンリービジョンモデルに対する前方オンリーテスト時間適応
- Abstract要約: 本稿では, BN-folded, integer-only convolutional network で動作するフォワードオンリーテスト時適応 (TTA) 手法を提案する。
我々は, ESP32-S3マイクロコントローラ上で, ビットエクサクト int8 の畳み込み実行と展開を検証した。
- 参考スコア（独自算出の注目度）: 0.3499870393443268
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision models deployed on microcontrollers (MCUs) are quantized to integer-only arithmetic and run in inference-only runtimes that do not carry the machinery backpropagation needs: the standard tool for adapting a model to the distribution shift (sensor noise, blur, lighting) it meets in the field. Existing forward-only test-time adaptation (TTA) methods either run only on server- or edge-GPU-class models (not true microcontroller integer execution), or require the batch-normalization (BN) layers that integer deployment fuses away. We present a forward-only TTA method that operates on deployed, BN-folded, integer-only convolutional networks. The key observation is that fusing BN into the preceding convolution, a mandatory step for integer inference, destroys the statistics that normalization-based adaptation relies on. We restore adaptation by re-normalizing each folded convolution's per-channel output to its clean training statistics, using only forward-pass estimates. The method (i) recovers most of gradient-based TENT's accuracy gain (+20.9 vs. +24.9 points) and matches forward-only BN adaptation, while being the only method that runs on a folded integer-only model; (ii) needs to adapt only 3 of 21 layers (selected without seeing the test corruptions) to recover 93% of the benefit; (iii) survives single-sample streaming with a batch-size-scaled momentum; and (iv) generalizes across three datasets (up to 200 classes) and two architectures. We validate bit-exact int8 convolution execution and deploy on an ESP32-S3, where, measured with a Nordic PPK2 power profiler, the forward-only adaptation (a lightweight fp32 recalibration around the int8 convolutions) costs only 8.3 mJ (6.8% of inference energy) and 21.9 ms on the deployed SIMD-optimized model: forward-only adaptation is cheap on a real microcontroller.
- Abstract（参考訳）: マイクロコントローラ(MCU)にデプロイされたビジョンモデルは、整数のみの算術に量子化され、機械のバックプロパゲーション要求を持たない推論のみのランタイムで実行される。
既存のフォワードオンリーのテスト時間適応(TTA)メソッドは、サーバまたはエッジGPUクラスのモデル(真のマイクロコントローラの整数実行ではない)でのみ実行されるか、あるいは整数の配置が融合するバッチ正規化(BN)層を必要とする。
本稿では、BN折り畳まれた整数のみの畳み込みネットワークで動作するフォワードオンリーのTTA方式を提案する。
重要な観察は、BN を整数推論の必須ステップである前回の畳み込みに融合させることで、正規化に基づく適応が依存する統計を破壊してしまうことである。
我々は,各折り畳み畳み畳み込みのチャネル毎の出力を,フォワードパス推定のみを用いて,そのクリーンなトレーニング統計に再正規化することで適応を回復する。
方法
(i)勾配ベースのTENTの精度ゲイン(+20.9 vs. +24.9点)のほとんどを回復し、折りたたみ整数のみのモデルで実行される唯一の方法でありながら、前方のみのBN適応と一致する。
(ii) 利益の93%を回収するためには、21層中3層(テストの汚職を見ることなく選択される)のみを適応させる必要がある。
(iii) バッチサイズスケールの運動量を持つシングルサンプルストリーミングを生き残り、
(4) 3つのデータセット(最大200クラス)と2つのアーキテクチャを一般化する。
我々は、ESP32-S3上でのビットエクサクト int8 の畳み込み実行と展開を検証する。そこでは、ノルディックPPK2 パワープロファイラを用いて、フォワードオンリー適応(int8 畳み込みに関する軽量 fp32 再校正)は、デプロイされたSIMD 最適化モデル上では 8.3 mJ (6.8% の推論エネルギー) と 21.9 ms のみであり、フォワードオンリー適応は実際のマイクロコントローラでは安価である。
関連論文リスト
- Parameter-Efficient Self-Supervised Adaptation for EEG-FM under Fixed Computational Budgets [0.12891210250935145]
目的タスクに表現を合わせるのに十分なパラメータの9%しか更新していないパラメータ効率の自己教師型適応について検討する。
事前学習目的の異なる2つの最先端モデルに対して,本手法の評価を行った。
SSL適応は、線形プローブよりも、最大20倍のAUCPRで一貫した利得が得られる。
論文 参考訳（メタデータ） (2026-08-25T15:38:46Z) - Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。
この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
論文 参考訳（メタデータ） (2025-10-23T14:02:34Z) - POME: Post Optimization Model Edit via Muon-style Projection [74.73326657229347]
POME(Post-Optimization Model Edit)は、微調整された大規模言語モデルの性能を向上させる。
デルタW$のミューオン式のプロジェクションを使い、微調整された重量と事前訓練された重量の違いを区別する。
単純な後処理ステップとして、POMEはトレーニングパイプラインから完全に分離される。
論文 参考訳（メタデータ） (2025-10-08T04:20:11Z) - MASS: MoErging through Adaptive Subspace Selection [55.03293736484465]
モデルマージの新しいアプローチであるMASS(MoErging through Adaptive Subspace Selection)を提案する。
MASSはタスクごとに最も健全な特異なコンポーネントのみを格納し、それらを共有モデルにマージする。
我々は,8,14,20タスクのベンチマークに対して,ViT-B-16,ViT-B-32,ViT-L-14を用いて,CLIPに基づく画像分類のMASSを評価する。
論文 参考訳（メタデータ） (2025-04-06T08:49:52Z) - FPN-fusion: Enhanced Linear Complexity Time Series Forecasting Model [1.9780020273082008]
本研究では,線形計算複雑性を考慮した新しい時系列予測モデルFPN-fusionを提案する。
まず、時系列データの特徴を効果的に把握するためにFPN(Feature Pyramid Network)が採用され、従来の分解からトレンドや季節的なコンポーネントへ変換される。
FPN融合は、8つのオープンソースデータセットで32ケース中31ケースでDLinerを上回り、平均2乗誤差(MSE)は16.8%、平均絶対誤差(MAE)は11.8%となっている。
論文 参考訳（メタデータ） (2024-06-06T14:34:26Z) - Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。
テスト時間フォワード最適化適応法(FOA)を提案する。
FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
論文 参考訳（メタデータ） (2024-04-02T05:34:33Z) - Reduced Precision Floating-Point Optimization for Deep Neural Network
On-Device Learning on MicroControllers [15.37318446043671]
本稿では,MCUクラスデバイス上でのオンデバイス学習(ODL)プリミティブに対して,新しい精度最適化手法を提案する。
我々のアプローチは、シングルコアMCUのための既存のODLソフトウェアフレームワークよりも2桁以上高速である。
論文 参考訳（メタデータ） (2023-05-30T16:14:16Z) - SITA: Single Image Test-time Adaptation [48.789568233682296]
テスト時間適応(TTA)では、あるソースデータに基づいてトレーニングされたモデルを考えると、異なるディストリビューションからテストインスタンスに対してより良い予測を行うように適応することが目標である。
我々は、TTAをSITA(Single Image Test-time Adaptation)と呼ぶより実践的な環境で考える。
ここでは、各予測を行う場合、モデルはインスタンスのバッチではなく、与えられた単一のテストインスタンスにのみアクセスすることができる。
本稿では,前進保存伝播のみを必要とするSITA設定のための新しいアプローチAugBNを提案する。
論文 参考訳（メタデータ） (2021-12-04T15:01:35Z) - A contextual analysis of multi-layer perceptron models in classifying
hand-written digits and letters: limited resources [0.0]
我々は,前処理や特徴抽出を行わずに,終端から終端までのバニラニューラルネットワーク(MLP)アプローチを純粋に検証した。
基礎的なデータマイニング操作は,計算時間の観点からモデルの性能を著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2021-07-05T04:30:37Z) - Tent: Fully Test-time Adaptation by Entropy Minimization [77.85911673550851]
モデルは、テスト中に新しいデータや異なるデータに一般化するように適応する必要があります。
この完全なテスト時間適応の設定では、モデルはテストデータとそれ自身のパラメータしか持たない。
実験エントロピー最小化(tent): 予測のエントロピーによって測定された信頼度に対するモデルを最適化する。
論文 参考訳（メタデータ） (2020-06-18T17:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。