Fugu-MT 論文翻訳(概要): On Accelerating Edge AI: Optimizing Resource-Constrained Environments

論文の概要: On Accelerating Edge AI: Optimizing Resource-Constrained Environments

arxiv url: http://arxiv.org/abs/2501.15014v1
Date: Sat, 25 Jan 2025 01:37:03 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-28 21:57:03.474377
Title: On Accelerating Edge AI: Optimizing Resource-Constrained Environments
Title（参考訳）: エッジAIの高速化について - リソース制約のある環境を最適化する
Abstract要約: リソース制約のあるエッジデプロイメントでは、厳格な計算、メモリ、エネルギー制限とハイパフォーマンスのバランスをとるAIソリューションが要求される。本稿では,このような制約下でのディープラーニングモデルを加速するための主要な戦略について概観する。
参考スコア（独自算出の注目度）: 1.7355861031903428
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Resource-constrained edge deployments demand AI solutions that balance high performance with stringent compute, memory, and energy limitations. In this survey, we present a comprehensive overview of the primary strategies for accelerating deep learning models under such constraints. First, we examine model compression techniques-pruning, quantization, tensor decomposition, and knowledge distillation-that streamline large models into smaller, faster, and more efficient variants. Next, we explore Neural Architecture Search (NAS), a class of automated methods that discover architectures inherently optimized for particular tasks and hardware budgets. We then discuss compiler and deployment frameworks, such as TVM, TensorRT, and OpenVINO, which provide hardware-tailored optimizations at inference time. By integrating these three pillars into unified pipelines, practitioners can achieve multi-objective goals, including latency reduction, memory savings, and energy efficiency-all while maintaining competitive accuracy. We also highlight emerging frontiers in hierarchical NAS, neurosymbolic approaches, and advanced distillation tailored to large language models, underscoring open challenges like pre-training pruning for massive networks. Our survey offers practical insights, identifies current research gaps, and outlines promising directions for building scalable, platform-independent frameworks to accelerate deep learning models at the edge.
Abstract（参考訳）: リソース制約のあるエッジデプロイメントでは、厳格な計算、メモリ、エネルギー制限とハイパフォーマンスのバランスをとるAIソリューションが要求される。本稿では,このような制約下でのディープラーニングモデルを高速化するための主要な戦略について概観する。まず, モデル圧縮技術-プルーニング, 量子化, テンソル分解, 知識蒸留- 大規模モデルをより小さく, より速く, より効率的な変種に合理化することを検討する。次に、特定のタスクやハードウェア予算に本質的に最適化されたアーキテクチャを検出する自動化メソッドのクラスであるNeural Architecture Search(NAS)について検討する。次に,TVM,TensorRT,OpenVINOなどのコンパイラおよびデプロイメントフレームワークについて論じる。これら3つの柱を統合パイプラインに統合することで、競合精度を維持しながらレイテンシ低減、メモリ節約、エネルギー効率など、多目的目標を達成することができる。また、階層的NAS、ニューロシンボリックアプローチ、および大規模言語モデルに合わせた高度な蒸留の新たなフロンティアを強調し、大規模ネットワークの事前学習のようなオープンな課題を浮き彫りにした。私たちの調査は実践的な洞察を提供し、現在の研究ギャップを特定し、エッジでのディープラーニングモデルを加速するためにスケーラブルでプラットフォームに依存しないフレームワークを構築するための有望な方向性を概説しています。

関連論文リスト

A Generalized Optimization Engine (GOE) for Edge AI Inference Acceleration [1.2419540081875826]
本稿では,AIモデル最適化手法,アルゴリズム,抽象化の理論的基盤について考察する。本稿では,これらの手法を効率向上のために統合した包括的ハードウェア(HW)とモデルに依存しない一般化最適化アーキテクチャを提案する。具体的な実演として、GOE圧縮言語モデルがGPUレスエッジCPU上でデプロイおよび実行されることを示し、圧縮方法の選択は、単なる名目上のビット幅ではなく、タスク精度がデプロイを継続するかどうかを判断する。
論文参考訳（メタデータ） (2026-08-19T23:30:16Z)
A Survey on the Green Development of Large Models: From Resource-Efficient Architectures to Hardware-Software Co-Design [71.32556809242666]
大規模AIモデルの急速な拡張は、さまざまな領域で大幅なパフォーマンスのブレークスルーをもたらした。また、計算コスト、エネルギー消費、環境の持続可能性に関する重要な懸念を提起している。この調査は、大規模モデルの持続的、スケーラブルで、社会的に責任のある開発に向けて、全体的なロードマップを提供することを目的としている。
論文参考訳（メタデータ） (2026-07-10T04:02:22Z)
Evolution of Optimization Methods: Algorithms, Scenarios, and Evaluations [98.44542103979735]
勾配勾配降下法(SGD)とアダム(Adam)による1次勾配勾配降下法は、現代の訓練パイプラインの基礎となる。大規模モデルトレーニング、厳格なプライバシ要件、分散学習パラダイムは、プライバシ保護とメモリ効率に関する従来のアプローチにおける重要な制限を明らかにする。深層学習最適化アルゴリズムの進化軌道を振り返って分析し、様々なモデルアーキテクチャやトレーニングシナリオの主流を包括的に評価する。我々は、重要な新興トレンドと基本設計のトレードオフを抽出し、将来の研究の有望な方向性を示唆する。
論文参考訳（メタデータ） (2026-04-14T17:01:36Z)
Throughput Optimization as a Strategic Lever in Large-Scale AI Systems: Evidence from Dataloader and Memory Profiling Innovations [0.0]
本稿では,近年の学術的,産業的革新から証拠を合成し,学習効率の重要な進歩を分析する。エンドツーエンドのトレーニングスループットが4.5%向上したOVERLORDフレームワークのような,データローダボトルネックに対するアーキテクチャソリューションを検討する。本稿では,Triton-Distributedによって実証されたコンパイラ中心の最適化の重要性の増大について考察する。
論文参考訳（メタデータ） (2026-03-27T00:04:23Z)
Hardware-aware Neural Architecture Search of Early Exiting Networks on Edge Accelerators [12.394874144369396]
エッジでの組み込みインテリジェンスに対する需要の増加は、厳密な計算とエネルギーの制約を課している。将来性のあるソリューションとして、Early Exiting Neural Networks (EENN)が登場した。ネットワークバックボーン内の早期終了点の配置を最適化するハードウェア対応ニューラルアーキテクチャサーチ(NAS)フレームワークを提案する。
論文参考訳（メタデータ） (2025-12-04T11:54:09Z)
Edge-Cloud Collaborative Computing on Distributed Intelligence and Model Optimization: A Survey [59.52058740470727]
エッジクラウドコラボレーティブコンピューティング(ECCC)は、現代のインテリジェントアプリケーションの計算要求に対処するための重要なパラダイムとして登場した。 AIの最近の進歩、特にディープラーニングと大規模言語モデル(LLM)は、これらの分散システムの能力を劇的に向上させてきた。この調査は、基本的なアーキテクチャ、技術の実現、新しいアプリケーションに関する構造化されたチュートリアルを提供する。
論文参考訳（メタデータ） (2025-05-03T13:55:38Z)
Deploying Large AI Models on Resource-Limited Devices with Split Federated Learning [39.73152182572741]
本稿では、SFLAM(Quantized Split Federated Fine-Tuning Large AI Model)と呼ばれる新しいフレームワークを提案する。エッジデバイスとサーバ間のトレーニング負荷を分割することで、SFLAMはデバイス上の大規模なモデルの操作を容易にすることができる。 SFLAMは、トレーニング効率を高めるために、量子化管理、電力制御、帯域幅割り当て戦略を取り入れている。
論文参考訳（メタデータ） (2025-04-12T07:55:11Z)
Low-Rank Adapters Meet Neural Architecture Search for LLM Compression [1.8434042562191815]
LLM(Large Language Models)の急速な拡張は、微調整と展開に必要な計算資源に関して重大な課題を提起している。低ランクアダプタの最近の進歩は、これらのモデルのパラメータ効率のよい微調整(PEFT)において有効であることを示した。本稿では,低ランク表現をニューラルアーキテクチャサーチ(NAS)技術と相乗化するための革新的なアプローチを包括的に論じる。
論文参考訳（メタデータ） (2025-01-23T02:14:08Z)
A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
論文参考訳（メタデータ） (2024-12-18T14:11:15Z)
Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-29T19:02:54Z)
Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
論文参考訳（メタデータ） (2024-07-12T09:24:34Z)
Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文参考訳（メタデータ） (2024-01-11T15:02:15Z)
Neural Architecture Codesign for Fast Bragg Peak Analysis [1.7081438846690533]
我々は,高速かつリアルタイムなブラッグピーク解析のためのニューラルネットワーク符号の合理化のための自動パイプラインを開発した。我々の手法では、ハードウェアコストを含むこれらのモデルを強化するために、ニューラルアーキテクチャ検索とAutoMLを使用し、よりハードウェア効率の良いニューラルアーキテクチャの発見に繋がる。
論文参考訳（メタデータ） (2023-12-10T19:42:18Z)
Complexity-Driven CNN Compression for Resource-constrained Edge AI [1.6114012813668934]
本稿では,CNNの層レベルでの複雑さを生かして,新しい,計算効率の高いプルーニングパイプラインを提案する。パラメータ認識(PA)、FLOP認識(FA)、メモリ認識(MA)の3つのモードを定義し、CNNの汎用圧縮を導入する。
論文参考訳（メタデータ） (2022-08-26T16:01:23Z)
FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
論文参考訳（メタデータ） (2022-06-17T11:16:28Z)
Top-KAST: Top-K Always Sparse Training [50.05611544535801]
トレーニングを通して一定間隔を保存するTop-KASTを提案する。確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。 ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
論文参考訳（メタデータ） (2021-06-07T11:13:05Z)
MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文参考訳（メタデータ） (2020-09-29T11:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。