論文の概要: Lightweight Transformer Models for On-Device Fault Detection: A Benchmark Study on Resource-Constrained Deployment

• arxiv url: http://arxiv.org/abs/2606.24173v1
• Date: Tue, 23 Jun 2026 05:54:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.797206
• Title: Lightweight Transformer Models for On-Device Fault Detection: A Benchmark Study on Resource-Constrained Deployment
• Title（参考訳）: オンデバイス故障検出のための軽量変圧器モデル:資源制約配置に関するベンチマーク研究
• Authors: Disha Patel,
• Abstract要約: オンデバイス障害検出により、クラウド依存のないリアルタイム診断が可能になるが、リソース制約のあるハードウェアに機械学習モデルをデプロイするには、正確性、レイテンシ、モデルサイズ間の慎重にトレードオフが必要である。 本稿では,従来のML手法と,バイナリ故障検出のための軽量トランスフォーマーアーキテクチャを比較したベンチマークを提案する。 その結果, センサデータから, 軽量トランスフォーマーは従来のMLと87.8%のF1で一致したが, モデルサイズは100倍, レイテンシは9000倍であった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-device fault detection enables real-time diagnostics without cloud dependency, but deploying machine learning models on resource-constrained hardware demands careful tradeoffs between accuracy, latency, and model size. We present a benchmark comparing traditional ML methods (Random Forest, XGBoost, SVM, Logistic Regression) against lightweight transformer architectures (DistilBERT, TinyBERT-6L, TinyBERT-4L, MobileBERT) for binary fault detection across three public datasets: NASA C-MAPSS turbofan degradation, SECOM semiconductor manufacturing, and UCI AI4I 2020 predictive maintenance. We evaluate classification performance (F1-score, AUC), model size, and CPU inference latency, and further assess INT8 dynamic quantization and a two-stage adaptive inference pipeline. Our results reveal that on well-separated sensor data (C-MAPSS), lightweight transformers match traditional ML at 87.8% F1 but at 100x the model size and 9000x the latency. TinyBERT-4L emerges as the most deployment-friendly transformer at 55 MB and 18 ms CPU latency. INT8 quantization reduces size by 25% while preserving 86.9% F1. Our adaptive pipeline, routing 97.9% of predictions through a quantized triage model and only 2.1% to a larger expert, achieves 87.6% F1 at 19.5 ms average latency. On severely imbalanced datasets (SECOM, UCI-PM), both traditional and transformer methods struggle significantly, highlighting fundamental limitations of current approaches for extreme class imbalance in fault detection. All code is publicly available.
• Abstract（参考訳）: オンデバイス障害検出により、クラウド依存のないリアルタイム診断が可能になるが、リソース制約のあるハードウェアに機械学習モデルをデプロイするには、正確性、レイテンシ、モデルサイズ間の慎重にトレードオフが必要である。 本稿では,従来のML手法 (Random Forest, XGBoost, SVM, Logistic Regression) と軽量トランスフォーマーアーキテクチャ (DistilBERT, TinyBERT-6L, TinyBERT-4L, MobileBERT) を比較し,NASA C-MAPSSターボファン劣化, SECOM半導体製造, UCI AI4I 2020 予測保守を行う。 我々は、分類性能(F1スコア、AUC)、モデルサイズ、CPU推論遅延を評価し、さらにINT8動的量子化と2段階適応推論パイプラインを評価する。 その結果, センサデータ(C-MAPSS)では, 軽量トランスフォーマーは従来のMLと87.8% F1で一致したが, モデルサイズは100倍, レイテンシは9000倍であった。 TinyBERT-4Lは55MBと18msのCPUレイテンシで最もデプロイしやすいトランスフォーマーとして登場した。 INT8量子化は86.9%のF1を維持しながら、サイズを25%削減する。 我々の適応パイプラインは、量子化されたトリアージモデルによる予測の97.9%をルーティングし、より大きな専門家にわずか2.1%で、平均19.5msで87.6%のF1を達成する。 重大不均衡データセット(SECOM, UCI-PM)では, 従来手法と変圧器法の両方が著しく苦労し, 異常検出における極端なクラス不均衡に対する現在のアプローチの基本的限界を強調した。 すべてのコードは公開されている。

関連論文リスト

• MicroBi-ConvLSTM: An Ultra-Lightweight Efficient Model for Human Activity Recognition on Resource Constrained Devices [0.0]
  リソース制約のあるウェアラブル上でのヒューマンアクティビティ認識(HAR)は、厳格なメモリと計算予算との精度のバランスをとるモデルを必要とする。 提案するMicroBi-ConvLSTMは, 平均11.4Kのパラメータを達成できる超軽量畳み込み並列アーキテクチャである。
  論文  参考訳（メタデータ） (2026-02-06T09:26:29Z)
• LiQSS: Post-Transformer Linear Quantum-Inspired State-Space Tensor Networks for Real-Time 6G [85.58816960936069]
  Sixth-Generation (6G) Open Radio Access Networks (O-RAN) における能動的およびエージェント的制御は、厳密なニアタイム(Near-RT)レイテンシと計算制約の下で制御グレードの予測を必要とする。 本稿では,効率的な無線テレメトリ予測のための変圧器後パラダイムについて検討する。 本稿では、自己アテンションを安定な状態空間動的カーネルに置き換える量子インスピレーション付き状態空間テンソルネットワークを提案する。
  論文  参考訳（メタデータ） (2026-01-18T12:08:38Z)
• Lightweight Transformer Architectures for Edge Devices in Real-Time Applications [0.0]
  本調査では,エッジデプロイメント用に設計された軽量トランスフォーマーアーキテクチャについて検討する。 我々は、MobileBERT、TinyBERT、DistilBERT、EfficientFormer、EdgeFormer、MobileViTなど、注目すべき軽量版を体系的にレビューした。 実験により, モデルサイズを4～10倍, 推論遅延を3～9倍削減し, モデル精度を75～96%向上できることを確認した。
  論文  参考訳（メタデータ） (2026-01-05T01:04:25Z)
• Uncertainty Makes It Stable: Curiosity-Driven Quantized Mixture-of-Experts [6.221156050218661]
  本稿では、資源制約のあるデバイス上でのディープニューラルネットワークのための好奇心駆動型量子化混合処理フレームワークを提案する。 われわれの4ビット量子化は、16ビットの精度(0.858対0.859 F1)の99.9%を維持し、4倍の圧縮と41%の省エネを実現している。 我々の情報理論的ルーティングは、適応量子化が精度(0.858 F1, 1.2M params)、エネルギー効率(3.87 F1/mJ)、予測可能なエッジモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2025-11-13T15:32:41Z)
• Automated Energy-Aware Time-Series Model Deployment on Embedded FPGAs for Resilient Combined Sewer Overflow Management [17.903318666906728]
  気候変動によって激化する極度の気象現象は、下水道システムの老朽化に挑戦する傾向にある。 下水道流域充填量の予測は早期介入に有効な洞察を与えることができる。 本稿では,エッジデバイス上でエネルギー効率の高い推論を可能にするエンドツーエンド予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-19T15:06:04Z)
• The Mamba in the Llama: Distilling and Accelerating Hybrid Models [76.64055251296548]
  注目層からの線形射影重みを学術的なGPU資源で再利用することにより,大規模な変換器を線形RNNに蒸留する方法を示す。 結果として得られたハイブリッドモデルは、チャットベンチマークのオリジナルのTransformerに匹敵するパフォーマンスを達成する。 また,Mambaとハイブリッドモデルの推論速度を高速化するハードウェア対応投機的復号アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-08-27T17:56:11Z)
• Global Vision Transformer Pruning with Hessian-Aware Saliency [93.33895899995224]
  この研究はヴィジュアルトランスフォーマー(ViT)モデルの共通設計哲学に挑戦する。 遅延を意識した規則化による直接遅延低減を実現し,すべての層や構造に匹敵する新しいヘッセン型構造解析基準を導出する。 DeiT-Baseモデルで反復的なプルーニングを実行すると、NViT(Novel ViT)と呼ばれる新しいアーキテクチャファミリが生まれ、パラメータをより効率的に利用する新しいパラメータが現れる。
  論文  参考訳（メタデータ） (2021-10-10T18:04:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。