論文の概要: TF2AIF: Facilitating development and deployment of accelerated AI models on the cloud-edge continuum
- arxiv url: http://arxiv.org/abs/2404.13715v1
- Date: Sun, 21 Apr 2024 17:04:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 17:42:20.335710
- Title: TF2AIF: Facilitating development and deployment of accelerated AI models on the cloud-edge continuum
- Title(参考訳): TF2AIF: クラウドエッジ連続体上での加速AIモデルの開発と展開
- Authors: Aimilios Leftheriotis, Achilleas Tzenetopoulos, George Lentaris, Dimitrios Soudris, Georgios Theodoridis,
- Abstract要約: 本稿では,高レベル言語で入力されたAI関数の複数のSWバージョンを生成するためのカスタムツールを提案する。
TF2AIFは、異なるツールフローに基づいて構築され、相対的なコンテナのプレソラを生成する。
- 参考スコア(独自算出の注目度): 3.485426586502182
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The B5G/6G evolution relies on connect-compute technologies and highly heterogeneous clusters with HW accelerators, which require specialized coding to be efficiently utilized. The current paper proposes a custom tool for generating multiple SW versions of a certain AI function input in high-level language, e.g., Python TensorFlow, while targeting multiple diverse HW+SW platforms. TF2AIF builds upon disparate tool-flows to create a plethora of relative containers and enable the system orchestrator to deploy the requested function on any peculiar node in the cloud-edge continuum, i.e., to leverage the performance/energy benefits of the underlying HW upon any circumstances. TF2AIF fills an identified gap in today's ecosystem and facilitates research on resource management or automated operations, by demanding minimal time or expertise from users.
- Abstract(参考訳): B5G/6Gの進化は、HW加速器と接続計算技術と高度に異質なクラスタに依存しており、特別な符号化を効率的に利用する必要がある。
現在の論文では、複数の多様なHW+SWプラットフォームをターゲットにしながら、ハイレベル言語、例えばPython TensorFlowで入力された特定のAI関数の複数のSWバージョンを生成するカスタムツールを提案する。
TF2AIFは、異なるツールフローに基づいて、相対的なコンテナを複数生成し、システムオーケストレータが要求された機能をクラウドエッジ連続体内の任意の特定のノードにデプロイできるようにする。
TF2AIFは、ユーザから最小限の時間や専門知識を要求することにより、今日のエコシステムのギャップを埋め、リソース管理や自動運用の研究を促進する。
関連論文リスト
- Octopus v2: On-device language model for super agent [10.998608318944985]
本研究は,GPT-4の性能を精度とレイテンシの両方で上回る20億のパラメータを持つデバイスモデルを実現するための新しい手法を提案する。
Llama-7BをRAGベースの関数呼び出し機構で比較すると,レイテンシを35倍に向上する。
論文 参考訳(メタデータ) (2024-04-02T09:01:32Z) - FPGA-Based Neural Thrust Controller for UAVs [23.304588982050632]
本稿では,Artix-7 FPGAを搭載した,オープンソースのマイクロUAVプラットフォーム用の新しいハードウェアボードを提案する。
我々はRLベースの低レベルコントローラを実装することで、その機能を検証することに成功した。
論文 参考訳(メタデータ) (2024-03-27T15:52:54Z) - AgentScope: A Flexible yet Robust Multi-Agent Platform [66.61478569048477]
AgentScopeは、メッセージ交換をコアコミュニケーションメカニズムとする、開発者中心のマルチエージェントプラットフォームである。
堅牢で柔軟なマルチエージェントアプリケーションを目指して、AgentScopeはビルトインとカスタマイズ可能なフォールトトレランスメカニズムを提供する。
論文 参考訳(メタデータ) (2024-02-21T04:11:28Z) - OTOv3: Automatic Architecture-Agnostic Neural Network Training and
Compression from Structured Pruning to Erasing Operators [57.145175475579315]
このトピックは、構造化プルーニングからニューラルアーキテクチャサーチまで、さまざまなテクニックにまたがっている。
第3世代のOTOv3(Noth-Train-Once)を導入する。
我々は,構造化プルーニングとニューラルアーキテクチャ探索におけるOTOv3の有効性を実証した。
論文 参考訳(メタデータ) (2023-12-15T00:22:55Z) - Enabling Resource-efficient AIoT System with Cross-level Optimization: A
survey [20.360136850102833]
この調査は、より自由なリソースパフォーマンストレードオフのために、より広い最適化スペースを提供することを目的としています。
様々なレベルに散らばる問題やテクニックを統合することで、読者のつながりを理解し、さらなる議論を促すことを目指している。
論文 参考訳(メタデータ) (2023-09-27T08:04:24Z) - M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task
Learning with Model-Accelerator Co-design [95.41238363769892]
マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。
現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。
効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-26T15:40:24Z) - In-situ Model Downloading to Realize Versatile Edge AI in 6G Mobile
Networks [61.416494781759326]
In-situモデルダウンロードは、ネットワーク内のAIライブラリからダウンロードすることで、デバイス上のAIモデルを透過的でリアルタイムに置き換えることを目的としている。
提示されたフレームワークの重要なコンポーネントは、ダウンロードされたモデルを深さレベル、パラメータレベル、ビットレベルで動的に圧縮する一連のテクニックである。
我々は,3層(エッジ,ローカル,中央)AIライブラリのキー機能を備えた,インサイトモデルダウンロードのデプロイ用にカスタマイズされた6Gネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-10-07T13:41:15Z) - Auto-Split: A General Framework of Collaborative Edge-Cloud AI [49.750972428032355]
本稿では,Huawei Cloudのエッジクラウド共同プロトタイプであるAuto-Splitの技法と技術実践について述べる。
私たちの知る限りでは、Deep Neural Network(DNN)分割機能を提供する既存の産業製品はありません。
論文 参考訳(メタデータ) (2021-08-30T08:03:29Z) - Dynamic Multi-Branch Layers for On-Device Neural Machine Translation [53.637479651600586]
動的マルチブランチ層を用いたオンデバイスニューラルマシン翻訳(NMT)システムの性能向上を提案する。
具体的には、トレーニングと推論中に1つの分岐のみを活性化した層方向動的マルチブランチネットワークを設計する。
ほぼ同じ計算コストで、WMT14英語-ドイツ語翻訳タスクでは最大1.7 BLEUポイント、WMT20中国語-英語翻訳タスクでは1.8 BLEUポイントの改善を実現します。
論文 参考訳(メタデータ) (2021-05-14T07:32:53Z) - Transparent FPGA Acceleration with TensorFlow [1.0828616610785522]
我々は,新しいディープラーニングアクセラレータを利用したい開発者のためのツールフローを提案する。
バックエンドでは、ランタイム環境経由でアクセス可能なFPGAを使用します。
これは、ハードウェアがネットワークの構造で静的に構成されていないため、HSAツールフローによって実現できます。
論文 参考訳(メタデータ) (2021-02-02T06:49:33Z) - Towards High Performance, Portability, and Productivity: Lightweight
Augmented Neural Networks for Performance Prediction [0.0]
カーネル変種ハードウェアの任意の組み合わせのための軽量な拡張ニューラルネットワークを提案する。
従来のフィードフォワードニューラルネットワークよりもはるかに優れた、3%の低いMAPEが得られるのです。
私たちの変分選択アプローチは、Halideの実装で、Halideの自動スケジューリングよりも最大1.7倍のスピードアップを得るために使用できます。
論文 参考訳(メタデータ) (2020-03-17T02:19:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。