論文の概要: Harvesting AI Computation at the Edge via Generic Approximation
- arxiv url: http://arxiv.org/abs/2606.29518v1
- Date: Sun, 28 Jun 2026 17:27:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.948065
- Title: Harvesting AI Computation at the Edge via Generic Approximation
- Title（参考訳）: ジェネリック近似によるエッジでのAI計算のハーベスティング
- Abstract要約: 汎用近似手法を用いて,未使用のAI計算資源を抽出するフレームワークを提案する。
メインのAIワークロードのパフォーマンスを損なうことなく、タスクをAIチップにオフロードするランタイムスケジューラを導入します。
- 参考スコア（独自算出の注目度）: 25.85205133921183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the widespread adoption of AI in various IoT scenarios such as smart sensing and processing, AI chips have become a common component at the edge. These chips are typically specialized for structured neural network (NN) processing and are designed to meet peak workload demands. However, they are often underutilized and suffer from considerable computational waste due to temporal or spatial redundancy in processing. Conversely, general-purpose processing engines at the edge may struggle with compute-intensive tasks such as signal processing and complex numerical operations because of stringent resource constraints. To address this imbalance, we propose a framework that harvests unused AI computation resources using general-purpose approximation techniques. The core idea is to automatically convert traditional computing tasks into neural network models via a representative neural architecture search (NAS) method. These approximate versions of general-purpose tasks are then deployed on AI engines during their idle periods. Specifically, we introduce a runtime scheduler that offloads these tasks to AI chips without compromising the performance of primary AI workloads, thereby alleviating the burden on general-purpose processors. Experiments on a representative AIoT processor show that our proposed AI computation harvesting strategy delivers substantial performance improvements across a set of edge processing tasks.
- Abstract（参考訳）: AIがスマートセンシングや処理といったさまざまなIoTシナリオに広く採用されているため、AIチップはエッジにおける一般的なコンポーネントになっています。
これらのチップは一般的に、構造化ニューラルネットワーク(NN)処理に特化しており、ピーク時のワークロード要求を満たすように設計されている。
しかし, 処理の時間的あるいは空間的冗長性により, しばしば不使用であり, かなりの計算廃棄物に悩まされる。
逆に、エッジの汎用処理エンジンは、厳しいリソース制約のため、信号処理や複雑な数値演算といった計算集約的なタスクに苦労する可能性がある。
この不均衡に対処するために,汎用近似手法を用いて未使用のAI計算資源を抽出するフレームワークを提案する。
コアとなる考え方は、従来のコンピューティングタスクを代表的ニューラルネットワークサーチ(NAS)メソッドでニューラルネットワークモデルに自動的に変換することである。
これらの汎用タスクの近似バージョンは、アイドル期間中にAIエンジンにデプロイされる。
具体的には、主要なAIワークロードのパフォーマンスを損なうことなく、これらのタスクをAIチップにオフロードするランタイムスケジューラを導入し、汎用プロセッサの負担を軽減する。
代表的なAIoTプロセッサの実験では、提案したAI計算収穫戦略によって、エッジ処理タスクのセット間で大幅なパフォーマンス向上が実現されている。
関連論文リスト
- NNTile: a machine learning framework capable of training extremely large GPT language models on a single node [83.9328245724548]
NNTileはタスクベースの並列処理を実装したStarPUライブラリをベースとしている。
これは、大きなニューラルネットワークをトレーニングするために必要な特定の操作が、CPUコアまたはGPUデバイスのいずれかで実行されることを意味する。
論文 参考訳（メタデータ） (2025-04-17T16:22:32Z) - Profiling AI Models: Towards Efficient Computation Offloading in Heterogeneous Edge AI Systems [0.2357055571094446]
本稿では、AIモデルのプロファイリング、モデルタイプと基盤となるハードウェアに関するデータ収集、リソース利用とタスク完了時間の予測に焦点を当てた研究ロードマップを提案する。
3,000以上の実行での実験は、リソース割り当ての最適化とEdge AIのパフォーマンス向上を約束している。
論文 参考訳（メタデータ） (2024-10-30T16:07:14Z) - Dynamic Range Reduction via Branch-and-Bound [1.0141085397402314]
ハードウェアアクセラレーターを強化するための主要な戦略は、算術演算における精度の低下である。
本稿ではQUBO問題における精度向上のための完全原理分岐境界アルゴリズムを提案する。
実験は、実際の量子アニール上でのアルゴリズムの有効性を検証する。
論文 参考訳（メタデータ） (2024-09-17T03:07:56Z) - Adaptation of XAI to Auto-tuning for Numerical Libraries [0.0]
説明可能なAI(XAI)技術は、AIモデル開発の合理化と、ユーザへのAI出力の説明の負担軽減を目的として、注目を集めている。
本研究は,2つの異なるプロセスに統合されたAIモデルのXAIに着目し,数値計算を行う。
論文 参考訳（メタデータ） (2024-05-12T09:00:56Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive
Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。
シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文 参考訳（メタデータ） (2022-11-16T00:11:04Z) - Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to
Infer Hardware Performances [58.720142291102135]
VPUNN"は低レベルのタスクプロファイリングに基づいてトレーニングされたニューラルネットワークベースのコストモデルである。
これは、IntelのVPUプロセッサのラインにおける最先端のコストモデリングよりも一貫して優れている。
論文 参考訳（メタデータ） (2022-05-09T22:48:39Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - How to Reach Real-Time AI on Consumer Devices? Solutions for
Programmable and Custom Architectures [7.085772863979686]
ディープニューラルネットワーク(DNN)は、オブジェクトや音声認識など、さまざまな人工知能(AI)推論タスクにおいて大きな進歩をもたらした。
このようなAIモデルをコモディティデバイスにデプロイすることは、大きな課題に直面している。
クロススタック手法によりリアルタイムな性能を実現する手法を提案する。
論文 参考訳（メタデータ） (2021-06-21T11:23:12Z) - Towards AIOps in Edge Computing Environments [60.27785717687999]
本稿では,異種分散環境に適用可能なaiopsプラットフォームのシステム設計について述べる。
高頻度でメトリクスを収集し、エッジデバイス上で特定の異常検出アルゴリズムを直接実行することが可能である。
論文 参考訳（メタデータ） (2021-02-12T09:33:00Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。