Fugu-MT 論文翻訳(概要): Fast Data Aware Neural Architecture Search via Supernet Accelerated Evaluation

論文の概要: Fast Data Aware Neural Architecture Search via Supernet Accelerated Evaluation

arxiv url: http://arxiv.org/abs/2502.12690v1
Date: Tue, 18 Feb 2025 09:51:03 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-19 20:12:08.890742
Title: Fast Data Aware Neural Architecture Search via Supernet Accelerated Evaluation
Title（参考訳）: Supernet Accelerated Evaluationによる高速データ認識ニューラルアーキテクチャ探索
Authors: Emil Njor, Colby Banbury, Xenofon Fafoutis,
Abstract要約: TinyML(TinyML)は、医療、環境モニタリング、産業保守といった分野に革命をもたらすことを約束している。 TinyMLデプロイメントの成功に必要な複雑な最適化は、広く採用されていることを妨げ続けている。本稿では,最新のデータ認識ニューラルアーキテクチャ検索手法を提案し,新しいTinyML VisionWakeデータセットの有効性を実証する。
参考スコア（独自算出の注目度）: 0.43550340493919387
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Tiny machine learning (TinyML) promises to revolutionize fields such as healthcare, environmental monitoring, and industrial maintenance by running machine learning models on low-power embedded systems. However, the complex optimizations required for successful TinyML deployment continue to impede its widespread adoption. A promising route to simplifying TinyML is through automatic machine learning (AutoML), which can distill elaborate optimization workflows into accessible key decisions. Notably, Hardware Aware Neural Architecture Searches - where a computer searches for an optimal TinyML model based on predictive performance and hardware metrics - have gained significant traction, producing some of today's most widely used TinyML models. Nevertheless, limiting optimization solely to neural network architectures can prove insufficient. Because TinyML systems must operate under extremely tight resource constraints, the choice of input data configuration, such as resolution or sampling rate, also profoundly impacts overall system efficiency. Achieving truly optimal TinyML systems thus requires jointly tuning both input data and model architecture. Despite its importance, this "Data Aware Neural Architecture Search" remains underexplored. To address this gap, we propose a new state-of-the-art Data Aware Neural Architecture Search technique and demonstrate its effectiveness on the novel TinyML ``Wake Vision'' dataset. Our experiments show that across varying time and hardware constraints, Data Aware Neural Architecture Search consistently discovers superior TinyML systems compared to purely architecture-focused methods, underscoring the critical role of data-aware optimization in advancing TinyML.
Abstract（参考訳）: TinyML(TinyML)は、低消費電力組み込みシステム上で機械学習モデルを実行することで、医療、環境監視、産業メンテナンスといった分野に革命をもたらすことを約束している。しかし、TinyMLデプロイメントの成功に必要な複雑な最適化は、広く採用されていることを妨げ続けている。 TinyMLを単純化するための有望なルートは自動機械学習(AutoML)である。注目すべきなのは,コンピュータが予測パフォーマンスとハードウェアメトリクスに基づいて最適なTinyMLモデルを検索するハードウェア意識ニューラルネットワークサーチ – が大きな牽引力を獲得し,今日の最も広く使用されているTinyMLモデルのいくつかを生み出していることだ。それでも、ニューラルネットワークアーキテクチャのみに最適化を制限することは不十分である。 TinyMLシステムは極めて厳しいリソース制約の下で動作しなければならないため、解像度やサンプリングレートなどの入力データ構成の選択もシステム全体の効率に大きな影響を及ぼす。そのため、真に最適なTinyMLシステムを実現するには、入力データとモデルアーキテクチャの両方を共同でチューニングする必要がある。その重要性にもかかわらず、この"Data Aware Neural Architecture Search"はいまだ検討されていない。このギャップに対処するため、我々は最先端のニューラルネットワーク探索技術を提案し、その効果をTinyML ``Wake Vision''データセットで実証する。我々の実験は、様々な時間とハードウェアの制約の中で、Data Aware Neural Architecture Searchは、純粋にアーキテクチャにフォーカスした手法に比べて優れたTinyMLシステムを発見し、TinyMLの進化におけるデータ認識最適化の重要な役割を強調している。

関連論文リスト

ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
論文参考訳（メタデータ） (2025-03-24T13:11:22Z)
PLM: Efficient Peripheral Language Models Hardware-Co-Designed for Ubiquitous Computing [48.30406812516552]
我々は、モデルアーキテクチャとエッジシステムの制約を協調的に最適化する共同設計プロセスを通じて開発された、周辺言語モデルであるPLMを紹介する。 PLMはMulti-head Latent Attentionメカニズムを採用し、正方形ReLUアクティベーション機能を採用してスパーシティを促進し、ピークメモリフットプリントを減少させる。評価の結果, PLMは, 公開されているデータに基づいて訓練された既存の小言語モデルよりも優れていた。
論文参考訳（メタデータ） (2025-03-15T15:11:17Z)
Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-29T19:02:54Z)
TinySV: Speaker Verification in TinyML with On-device Learning [2.356162747014486]
本稿では,提案した TextitTiny Speaker Verification (TinySV) などのタスクで使用可能な,新しいタイプの適応型TinyMLソリューションを提案する。提案したTinySVソリューションは、キーワードスポッティングと適応話者検証モジュールで構成される2層階層のTinyMLソリューションに依存している。我々は,提案したTinySVソリューションの有効性と有効性を評価し,提案したソリューションを実世界のIoTデバイス上でテストした。
論文参考訳（メタデータ） (2024-06-03T17:27:40Z)
On-device Online Learning and Semantic Management of TinyML Systems [8.183732025472766]
本研究の目的は,単一TinyMLモデルのプロトタイピングと信頼性の高いTinyMLシステムの開発のギャップを埋めることである。我々は,制約のあるデバイス上でのトレーニングを可能にするオンライン学習を提案し,最新のフィールド条件に局所モデルを適用する。モデルとデバイスを大規模に管理するためのセマンティックマネジメントを提案する。
論文参考訳（メタデータ） (2024-05-13T10:03:34Z)
The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。テキスト内学習と微調整によるラベル付きデータの影響について検討する。次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文参考訳（メタデータ） (2023-08-14T17:17:21Z)
TinyReptile: TinyML with Federated Meta-Learning [9.618821589196624]
メタラーニングとオンラインラーニングにインスパイアされた,シンプルだが効率的なアルゴリズムであるTinyReptileを提案する。 Raspberry Pi 4とCortex-M4 MCUで256KBのRAMでTinyReptileをデモした。
論文参考訳（メタデータ） (2023-04-11T13:11:10Z)
TinyML: Tools, Applications, Challenges, and Future Research Directions [2.9398911304923456]
TinyMLは、安価でリソースに制約のあるデバイス上でのMLアプリケーションを可能にする、組み込み機械学習技術である。この記事では、TinyML実装で利用可能なさまざまな方法についてレビューする。
論文参考訳（メタデータ） (2023-03-23T15:29:48Z)
OmniForce: On Human-Centered, Large Model Empowered and Cloud-Edge Collaborative AutoML System [85.8338446357469]
我々は人間中心のAutoMLシステムであるOmniForceを紹介した。我々は、OmniForceがAutoMLシステムを実践し、オープン環境シナリオにおける適応型AIを構築する方法について説明する。
論文参考訳（メタデータ） (2023-03-01T13:35:22Z)
AutoMoE: Heterogeneous Mixture-of-Experts with Adaptive Computation for Efficient Neural Machine Translation [104.0979785739202]
ニューラルネットワーク翻訳(NMT)タスクにおいて、Mixture-of-Expert(MoE)モデルが最先端のパフォーマンスを得た。既存のMoEモデルは、ネットワーク全体に同じサイズの専門家が一様に配置される均質な設計を主に考慮している。計算制約下での不均一なMoEを設計するためのフレームワークであるAutoMoEを開発した。
論文参考訳（メタデータ） (2022-10-14T05:32:17Z)
How to Manage Tiny Machine Learning at Scale: An Industrial Perspective [5.384059021764428]
TinyML(TinyML)は、ユビキタスマイクロコントローラ上で機械学習(ML)が民主化され、広く普及している。 TinyMLモデルは異なる構造で開発されており、その動作原理を明確に理解せずに配布されることが多い。本稿では,TinyMLモデルとIoTデバイスを大規模に管理するためのセマンティックWeb技術を用いたフレームワークを提案する。
論文参考訳（メタデータ） (2022-02-18T10:36:11Z)
VolcanoML: Speeding up End-to-End AutoML via Scalable Search Space Decomposition [57.06900573003609]
VolcanoMLは、大規模なAutoML検索スペースを小さなものに分解するフレームワークである。最新のデータベースシステムでサポートされているような、Volcanoスタイルの実行モデルをサポートしている。評価の結果,VolcanoMLは,AutoMLにおける検索空間分解の表現性を向上するだけでなく,分解戦略の実際の発見につながることが示された。
論文参考訳（メタデータ） (2021-07-19T13:23:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。