論文の概要: Enabling Resource-efficient AIoT System with Cross-level Optimization: A survey

• arxiv url: http://arxiv.org/abs/2309.15467v1
• Date: Wed, 27 Sep 2023 08:04:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-28 14:55:30.267037
• Title: Enabling Resource-efficient AIoT System with Cross-level Optimization: A survey
• Title（参考訳）: クロスレベル最適化による資源効率AIoTシステムの実現:サーベイ
• Authors: Sicong Liu, Bin Guo, Cheng Fang, Ziqi Wang, Shiyan Luo, Zimu Zhou, Zhiwen Yu
• Abstract要約: この調査は、より自由なリソースパフォーマンストレードオフのために、より広い最適化スペースを提供することを目的としています。 様々なレベルに散らばる問題やテクニックを統合することで、読者のつながりを理解し、さらなる議論を促すことを目指している。
• 参考スコア（独自算出の注目度）: 20.360136850102833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emerging field of artificial intelligence of things (AIoT, AI+IoT) is driven by the widespread use of intelligent infrastructures and the impressive success of deep learning (DL). With the deployment of DL on various intelligent infrastructures featuring rich sensors and weak DL computing capabilities, a diverse range of AIoT applications has become possible. However, DL models are notoriously resource-intensive. Existing research strives to realize near-/realtime inference of AIoT live data and low-cost training using AIoT datasets on resource-scare infrastructures. Accordingly, the accuracy and responsiveness of DL models are bounded by resource availability. To this end, the algorithm-system co-design that jointly optimizes the resource-friendly DL models and model-adaptive system scheduling improves the runtime resource availability and thus pushes the performance boundary set by the standalone level. Unlike previous surveys on resource-friendly DL models or hand-crafted DL compilers/frameworks with partially fine-tuned components, this survey aims to provide a broader optimization space for more free resource-performance tradeoffs. The cross-level optimization landscape involves various granularity, including the DL model, computation graph, operator, memory schedule, and hardware instructor in both on-device and distributed paradigms. Furthermore, due to the dynamic nature of AIoT context, which includes heterogeneous hardware, agnostic sensing data, varying user-specified performance demands, and resource constraints, this survey explores the context-aware inter-/intra-device controllers for automatic cross-level adaptation. Additionally, we identify some potential directions for resource-efficient AIoT systems. By consolidating problems and techniques scattered over diverse levels, we aim to help readers understand their connections and stimulate further discussions.
• Abstract（参考訳）: 物の人工知能(AIoT、AI+IoT)の新興分野は、インテリジェントインフラストラクチャの普及と、ディープラーニング(DL)の驚くべき成功によって推進されている。 リッチセンサーと弱いDLコンピューティング機能を備えたさまざまなインテリジェントインフラストラクチャへのDLのデプロイにより、さまざまなAIoTアプリケーションが可能になった。 しかし、DLモデルはリソース集約であることが知られている。 既存の研究は、aiotライブデータのニア/リアルタイム推論と、リソース管理インフラストラクチャ上のaiotデータセットを用いた低コストトレーニングの実現を目指している。 したがって、DLモデルの精度と応答性は、リソース可用性によって制限される。 この目的のために、リソースフレンドリーなDLモデルとモデル適応システムスケジューリングを共同で最適化するアルゴリズム-システム共設計は、ランタイムリソースの可用性を改善し、スタンドアローンレベルで設定されたパフォーマンス境界を押し上げる。 リソースフレンドリなDLモデルや、部分的に調整されたコンポーネントを備えた手作りのDLコンパイラ/フレームワークに関する以前の調査とは異なり、この調査は、より自由なリソースパフォーマンストレードオフのためのより広範な最適化スペースを提供することを目的としている。 クロスレベル最適化の展望にはdlモデル、計算グラフ、オペレータ、メモリスケジュール、ハードウェアインストラクタなど、デバイス上と分散両方のパラダイムを含むさまざまな粒度が含まれている。 さらに,ヘテロジニアスなハードウェア,無依存なセンシングデータ,ユーザ指定のパフォーマンス要求の変動,リソース制約などを含むaiotコンテキストのダイナミックな性質から,自動クロスレベル適応のためのコンテキストアウェアなデバイス間/デバイス間コントローラの検討を行った。 さらに,資源効率のよいaiotシステムの方向性を明らかにする。 様々なレベルに散らばる問題やテクニックを統合することで、読者のつながりを理解し、さらなる議論を促すことを目指している。

関連論文リスト

• DLBacktrace: A Model Agnostic Explainability for any Deep Learning Models [1.747623282473278]
  ディープラーニングモデルは、意思決定プロセスにおける透明性が制限された不透明な'ブラックボックス'として機能する。 この研究は、AIシステムにおける解釈可能性の押し付けの必要性に対処し、信頼の育成、説明責任の確保、ミッションクリティカルな分野における責任あるデプロイメントの促進におけるその役割を強調した。 DLBacktraceは、AryaXAIチームが開発し、幅広い領域にわたるモデル決定を照らす革新的なテクニックです。
  論文  参考訳（メタデータ） (2024-11-19T16:54:30Z)
• Automatic Speech Recognition using Advanced Deep Learning Approaches: A survey [2.716339075963185]
  近年のディープラーニング(DL)の進歩は,自動音声認識(ASR)にとって重要な課題となっている。 ASRは、秘密のデータセットを含む広範なトレーニングデータセットに依存しており、かなりの計算とストレージリソースを必要としている。 ディープトランスファーラーニング(DTL)、フェデレーションラーニング(FL)、強化ラーニング(RL)といった高度なDL技術はこれらの問題に対処する。
  論文  参考訳（メタデータ） (2024-03-02T16:25:42Z)
• GISTEmbed: Guided In-sample Selection of Training Negatives for Text Embedding Fine-tuning [0.0]
  GISTEmbedは、ガイドモデルによる対照的なトレーニングにおいて、バッチ内のネガティブな選択を強化する新しい戦略である。 MTEB(Massive Text Embedding Benchmark)に対してベンチマークされたGISTEmbedは、さまざまなモデルサイズで一貫したパフォーマンス改善を示している。
  論文  参考訳（メタデータ） (2024-02-26T18:55:15Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Filling the Missing: Exploring Generative AI for Enhanced Federated Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
  ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。 実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-10-21T12:07:04Z)
• Serving Deep Learning Model in Relational Databases [70.53282490832189]
  リレーショナルデータ上での深層学習(DL)モデルの実現は、様々な商業分野や科学分野において重要な要件となっている。 最先端のDL中心アーキテクチャは、DL計算を専用のDLフレームワークにオフロードします。 UDF中心アーキテクチャの可能性は、リレーショナルデータベース管理システム(RDBMS)内の1つ以上のテンソル計算をユーザ定義関数(UDF)にカプセル化する。
  論文  参考訳（メタデータ） (2023-10-07T06:01:35Z)
• Deep Transfer Learning for Automatic Speech Recognition: Towards Better Generalization [3.6393183544320236]
  深層学習(DL)における音声認識の課題 大規模なトレーニングデータセットと高い計算とストレージリソースが必要です。 ディープトランスファーラーニング(DTL)はこれらの問題を克服するために導入された。
  論文  参考訳（メタデータ） (2023-04-27T21:08:05Z)
• DISTREAL: Distributed Resource-Aware Learning in Heterogeneous Systems [2.1506382989223782]
  計算資源の不均一性,制限,時間変化のあるデバイス上でのニューラルネットワーク(NN)の分散トレーニングの問題について検討する。 本稿では,適応型,リソース対応,オンデバイス学習機構であるDISTREALを提案する。
  論文  参考訳（メタデータ） (2021-12-16T10:15:31Z)
• Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
  本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。 最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。 提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
  論文  参考訳（メタデータ） (2021-11-26T18:44:59Z)
• Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with Heterogeneous Learning Tasks [53.1636151439562]
  モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。 再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。 具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
  論文  参考訳（メタデータ） (2020-12-25T07:08:50Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。