論文の概要: Profiling AI Models: Towards Efficient Computation Offloading in Heterogeneous Edge AI Systems

• arxiv url: http://arxiv.org/abs/2411.00859v1
• Date: Wed, 30 Oct 2024 16:07:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:48:39.816455
• Title: Profiling AI Models: Towards Efficient Computation Offloading in Heterogeneous Edge AI Systems
• Title（参考訳）: プロファイリングAIモデル:不均一エッジAIシステムにおける効率的な計算オフロードを目指して
• Authors: Juan Marcelo Parra-Ullauri, Oscar Dilley, Hari Madhukumar, Dimitra Simeonidou,
• Abstract要約: 本稿では、AIモデルのプロファイリング、モデルタイプと基盤となるハードウェアに関するデータ収集、リソース利用とタスク完了時間の予測に焦点を当てた研究ロードマップを提案する。 3,000以上の実行での実験は、リソース割り当ての最適化とEdge AIのパフォーマンス向上を約束している。
• 参考スコア（独自算出の注目度）: 0.2357055571094446
• License:
• Abstract: The rapid growth of end-user AI applications, such as computer vision and generative AI, has led to immense data and processing demands often exceeding user devices' capabilities. Edge AI addresses this by offloading computation to the network edge, crucial for future services in 6G networks. However, it faces challenges such as limited resources during simultaneous offloads and the unrealistic assumption of homogeneous system architecture. To address these, we propose a research roadmap focused on profiling AI models, capturing data about model types, hyperparameters, and underlying hardware to predict resource utilisation and task completion time. Initial experiments with over 3,000 runs show promise in optimising resource allocation and enhancing Edge AI performance.
• Abstract（参考訳）: コンピュータビジョンや生成AIといったエンドユーザAIアプリケーションの急速な成長により、膨大なデータと処理要求がユーザデバイスの能力を超えている。 Edge AIは、計算をネットワークエッジにオフロードすることでこの問題に対処する。 しかし、同時にオフロードするリソースの制限や、均質なシステムアーキテクチャの非現実的な仮定といった課題に直面している。 これらの問題に対処するために、AIモデルのプロファイリング、モデルタイプ、ハイパーパラメータ、および基盤となるハードウェアに関するデータをキャプチャして、リソース利用とタスク完了時間を予測することに焦点を当てた研究ロードマップを提案する。 3,000回以上の実行による最初の実験は、リソース割り当ての最適化とEdge AIのパフォーマンス向上を約束している。

関連論文リスト

• Two-Timescale Model Caching and Resource Allocation for Edge-Enabled AI-Generated Content Services [55.0337199834612]
  Generative AI(GenAI)は、カスタマイズされたパーソナライズされたAI生成コンテンツ(AIGC)サービスを可能にするトランスフォーメーション技術として登場した。 これらのサービスは数十億のパラメータを持つGenAIモデルの実行を必要とし、リソース制限の無線エッジに重大な障害を生じさせる。 我々は、AIGC品質とレイテンシメトリクスのトレードオフをバランスさせるために、AIGCサービスのジョイントモデルキャッシングとリソースアロケーションの定式化を導入する。
  論文  参考訳（メタデータ） (2024-11-03T07:01:13Z)
• Generative Diffusion-based Contract Design for Efficient AI Twins Migration in Vehicular Embodied AI Networks [55.15079732226397]
  Embodied AIは、サイバースペースと物理空間のギャップを埋める、急速に進歩する分野だ。 VEANETでは、組み込まれたAIツインが車載AIアシスタントとして機能し、自律運転をサポートするさまざまなタスクを実行する。
  論文  参考訳（メタデータ） (2024-10-02T02:20:42Z)
• Resource-Efficient Generative AI Model Deployment in Mobile Edge Networks [15.958822667638405]
  エッジ上の利用可能なリソースの不足は、生成AIモデルをデプロイする上で大きな課題を生じさせる。 我々は、エッジ上に生成するAIモデルのデプロイメントを適切に管理することを目的とした、協調的なエッジクラウドフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-09T03:17:28Z)
• Adaptation of XAI to Auto-tuning for Numerical Libraries [0.0]
  説明可能なAI(XAI)技術は、AIモデル開発の合理化と、ユーザへのAI出力の説明の負担軽減を目的として、注目を集めている。 本研究は,2つの異なるプロセスに統合されたAIモデルのXAIに着目し,数値計算を行う。
  論文  参考訳（メタデータ） (2024-05-12T09:00:56Z)
• Uncertainty Estimation in Multi-Agent Distributed Learning for AI-Enabled Edge Devices [0.0]
  エッジIoTデバイスはFPGAとAIアクセラレータの導入によってパラダイムシフトを経験している。 この進歩は、エッジAIの実用性を強調し、その計算能力を大幅に増幅した。 本研究では,AI対応エッジデバイスによる分散データ処理を実現する手法について検討し,協調学習能力を向上する。
  論文  参考訳（メタデータ） (2024-03-14T07:40:32Z)
• Offloading and Quality Control for AI Generated Content Services in 6G Mobile Edge Computing Networks [18.723955271182007]
  本稿では, 逆拡散段階における拡散モデルのオフロード決定, 計算時間, 拡散ステップに対する共同最適化アルゴリズムを提案する。 実験結果から,提案アルゴリズムはベースラインよりも優れた継手最適化性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-12-11T08:36:27Z)
• Enabling AI-Generated Content (AIGC) Services in Wireless Edge Networks [68.00382171900975]
  無線エッジネットワークでは、不正に生成されたコンテンツの送信はネットワークリソースを不要に消費する可能性がある。 我々は、AIGC-as-a-serviceの概念を示し、エッジネットワークにAをデプロイする際の課題について議論する。 最適なASP選択のための深層強化学習可能なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-09T09:30:23Z)
• In-situ Model Downloading to Realize Versatile Edge AI in 6G Mobile Networks [61.416494781759326]
  In-situモデルダウンロードは、ネットワーク内のAIライブラリからダウンロードすることで、デバイス上のAIモデルを透過的でリアルタイムに置き換えることを目的としている。 提示されたフレームワークの重要なコンポーネントは、ダウンロードされたモデルを深さレベル、パラメータレベル、ビットレベルで動的に圧縮する一連のテクニックである。 我々は,3層(エッジ,ローカル,中央)AIライブラリのキー機能を備えた,インサイトモデルダウンロードのデプロイ用にカスタマイズされた6Gネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-10-07T13:41:15Z)
• ProcTHOR: Large-Scale Embodied AI Using Procedural Generation [55.485985317538194]
  ProcTHORは、Embodied AI環境の手続き的生成のためのフレームワークである。 ナビゲーション、アレンジメント、アーム操作のための6つの具体化されたAIベンチマークに対して、最先端の結果を実証する。
  論文  参考訳（メタデータ） (2022-06-14T17:09:35Z)
• How to Reach Real-Time AI on Consumer Devices? Solutions for Programmable and Custom Architectures [7.085772863979686]
  ディープニューラルネットワーク(DNN)は、オブジェクトや音声認識など、さまざまな人工知能(AI)推論タスクにおいて大きな進歩をもたらした。 このようなAIモデルをコモディティデバイスにデプロイすることは、大きな課題に直面している。 クロススタック手法によりリアルタイムな性能を実現する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-21T11:23:12Z)
• Towards AIOps in Edge Computing Environments [60.27785717687999]
  本稿では,異種分散環境に適用可能なaiopsプラットフォームのシステム設計について述べる。 高頻度でメトリクスを収集し、エッジデバイス上で特定の異常検出アルゴリズムを直接実行することが可能である。
  論文  参考訳（メタデータ） (2021-02-12T09:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。