論文の概要: A Generalized Optimization Engine (GOE) for Edge AI Inference Acceleration
- arxiv url: http://arxiv.org/abs/2608.28652v1
- Date: Wed, 19 Aug 2026 23:30:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-06 19:38:41.469223
- Title: A Generalized Optimization Engine (GOE) for Edge AI Inference Acceleration
- Title（参考訳）: エッジAI推論高速化のための一般化最適化エンジン(GOE)
- Abstract要約: 本稿では,AIモデル最適化手法,アルゴリズム,抽象化の理論的基盤について考察する。
本稿では,これらの手法を効率向上のために統合した包括的ハードウェア(HW)とモデルに依存しない一般化最適化アーキテクチャを提案する。
具体的な実演として、GOE圧縮言語モデルがGPUレスエッジCPU上でデプロイおよび実行されることを示し、圧縮方法の選択は、単なる名目上のビット幅ではなく、タスク精度がデプロイを継続するかどうかを判断する。
- 参考スコア（独自算出の注目度）: 1.2419540081875826
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial intelligence (AI) models have demonstrated remarkable capabilities across various domains, yet their widespread deployment is impeded by significant computational costs, particularly on resource-constrained devices. This paper explores the theoretical underpinnings of various AI model optimization techniques, algorithms, and abstractions, discussing their potential to reduce computational complexity, memory footprint, latency, and power consumption. Furthermore, we propose a comprehensive hardware (HW) and model-agnostic generalized optimization architecture that integrates these techniques for improved efficiency. Our study underscores the critical role of such a generalized optimization system in preparing model deployment over resource-constrained heterogeneous hardware in a tactical environment. As a concrete demonstration, we show that GOE-compressed language models deploy and run on a GPU-less edge CPU, and that the choice of compression method, not merely its nominal bit-width, determines whether task accuracy survives deployment.
- Abstract（参考訳）: 人工知能(AI)モデルは、様々な領域にまたがる顕著な能力を示してきたが、その広範な展開は、特にリソースに制約のあるデバイスにおいて、大幅な計算コストによって妨げられている。
本稿では,AIモデル最適化手法,アルゴリズム,抽象化の理論的基盤について考察し,計算複雑性,メモリフットプリント,レイテンシ,消費電力の削減の可能性について議論する。
さらに,これらの手法を効率向上のために統合した,包括的ハードウェア(HW)とモデルに依存しない一般化最適化アーキテクチャを提案する。
本研究は,資源制約のあるヘテロジニアスハードウェア上でのモデル展開の準備において,このような一般化された最適化システムが重要な役割を担っていることを明らかにする。
具体的な実演として、GOE圧縮言語モデルがGPUレスエッジCPU上でデプロイおよび実行されることを示し、圧縮方法の選択は、単なる名目上のビット幅ではなく、タスク精度がデプロイを継続するかどうかを判断する。
関連論文リスト
- Throughput Optimization as a Strategic Lever in Large-Scale AI Systems: Evidence from Dataloader and Memory Profiling Innovations [0.0]
本稿では,近年の学術的,産業的革新から証拠を合成し,学習効率の重要な進歩を分析する。
エンドツーエンドのトレーニングスループットが4.5%向上したOVERLORDフレームワークのような,データローダボトルネックに対するアーキテクチャソリューションを検討する。
本稿では,Triton-Distributedによって実証されたコンパイラ中心の最適化の重要性の増大について考察する。
論文 参考訳（メタデータ） (2026-03-27T00:04:23Z) - Edge-Cloud Collaborative Computing on Distributed Intelligence and Model Optimization: A Survey [58.50944604905037]
エッジクラウドコラボレーティブコンピューティング(ECCC)は、現代のインテリジェントアプリケーションの計算要求に対処するための重要なパラダイムとして登場した。
AIの最近の進歩、特にディープラーニングと大規模言語モデル(LLM)は、これらの分散システムの能力を劇的に向上させてきた。
この調査は、基本的なアーキテクチャ、技術の実現、新しいアプリケーションに関する構造化されたチュートリアルを提供する。
論文 参考訳（メタデータ） (2025-05-03T13:55:38Z) - On Accelerating Edge AI: Optimizing Resource-Constrained Environments [1.7355861031903428]
リソース制約のあるエッジデプロイメントでは、厳格な計算、メモリ、エネルギー制限とハイパフォーマンスのバランスをとるAIソリューションが要求される。
本稿では,このような制約下でのディープラーニングモデルを加速するための主要な戦略について概観する。
論文 参考訳（メタデータ） (2025-01-25T01:37:03Z) - Cognitive Edge Computing: A Comprehensive Survey on Optimizing Large Models and AI Agents for Pervasive Deployment [12.921833067052928]
本稿では、ネットワークエッジのリソース制約されたデバイス上で、推論可能な大規模言語モデル(LLM)と自律AIエージェントをデプロイするための実用的かつ方法論的な経路として認知エッジコンピューティングを調査する。
本稿では,メモリ/計算予算の厳密化による多段階推論の維持を目的とした,統合された認知保存フレームワークを提案する。
我々は,効率的なトランスフォーマー設計,マルチモーダル統合,ハードウェア対応コンパイル,プライバシ保護学習,エージェントツール利用の進歩を合成し,それらをエッジ固有の操作エンベロープにマップする。
論文 参考訳（メタデータ） (2025-01-04T06:17:48Z) - A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。
これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。
本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
論文 参考訳（メタデータ） (2024-12-18T14:11:15Z) - Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。
モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。
このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
論文 参考訳（メタデータ） (2024-07-12T09:24:34Z) - Benchmarking Deep Learning Models on NVIDIA Jetson Nano for Real-Time Systems: An Empirical Investigation [2.3636539018632616]
この研究は、複雑なディープラーニングモデルの最適化を実証的に研究し、組み込みデバイス上で機能を分析する。
画像分類と映像行動検出のための推論速度の観点から最適化されたモデルの有効性を評価する。
論文 参考訳（メタデータ） (2024-06-25T17:34:52Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳（メタデータ） (2024-01-11T15:02:15Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳（メタデータ） (2023-03-25T14:40:59Z) - Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with
Heterogeneous Learning Tasks [53.1636151439562]
モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。
再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。
具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
論文 参考訳（メタデータ） (2020-12-25T07:08:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。