論文の概要: Online Resource Allocation for Edge Intelligence with Colocated Model Retraining and Inference

• arxiv url: http://arxiv.org/abs/2405.16029v1
• Date: Sat, 25 May 2024 03:05:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 01:29:38.757193
• Title: Online Resource Allocation for Edge Intelligence with Colocated Model Retraining and Inference
• Title（参考訳）: モデルリトレーニングと推論を併用したエッジインテリジェンスのためのオンラインリソースアロケーション
• Authors: Huaiguang Cai, Zhi Zhou, Qianyi Huang,
• Abstract要約: 我々は、トレーニングモデルと推論の精度を適応的にバランスするリソース割り当てを最適化するために、ORRICというオンライン近似アルゴリズムを導入する。 ORRICの競合比は従来の推論オンリーパラダイムよりも優れている。
• 参考スコア（独自算出の注目度）: 5.6679198251041765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With edge intelligence, AI models are increasingly pushed to the edge to serve ubiquitous users. However, due to the drift of model, data, and task, AI model deployed at the edge suffers from degraded accuracy in the inference serving phase. Model retraining handles such drifts by periodically retraining the model with newly arrived data. When colocating model retraining and model inference serving for the same model on resource-limited edge servers, a fundamental challenge arises in balancing the resource allocation for model retraining and inference, aiming to maximize long-term inference accuracy. This problem is particularly difficult due to the underlying mathematical formulation being time-coupled, non-convex, and NP-hard. To address these challenges, we introduce a lightweight and explainable online approximation algorithm, named ORRIC, designed to optimize resource allocation for adaptively balancing the accuracy of model training and inference. The competitive ratio of ORRIC outperforms that of the traditional Inference-Only paradigm, especially when data drift persists for a sufficiently lengthy time. This highlights the advantages and applicable scenarios of colocating model retraining and inference. Notably, ORRIC can be translated into several heuristic algorithms for different resource environments. Experiments conducted in real scenarios validate the effectiveness of ORRIC.
• Abstract（参考訳）: エッジインテリジェンスによって、AIモデルは、ユビキタスユーザに提供するために、ますますエッジにプッシュされている。 しかし、モデル、データ、タスクのドリフトにより、エッジにデプロイされたAIモデルは、推論サービスフェーズの劣化した精度に悩まされる。 モデル再トレーニングは、新たに到着したデータで定期的にモデルを再トレーニングすることで、そのようなドリフトを処理する。 資源制限されたエッジサーバ上で同じモデルに対応するモデル再トレーニングとモデル推論のコロケーションを行う場合、モデル再トレーニングと推論のリソース割り当てのバランスをとることが根本的な課題となり、長期的推測精度を最大化することを目指している。 この問題は、基礎となる数学的定式化が時間結合、非凸、NPハードであるため、特に困難である。 これらの課題に対処するために、モデルトレーニングと推論の精度を適応的にバランスするリソース割り当てを最適化するために設計された、軽量で説明可能なオンライン近似アルゴリズム、ORRICを導入する。 ORRICの競合比は従来の推論・オンリーパラダイムよりも優れており、特にデータドリフトが十分に長い時間持続した場合に顕著である。 これは、モデルの再トレーニングと推論のコロケーションの利点と適用可能なシナリオを強調します。 特に、ORRICはリソース環境の異なる複数のヒューリスティックなアルゴリズムに変換できる。 実シナリオで実施された実験は、ORRICの有効性を検証する。

関連論文リスト

• Deep autoregressive density nets vs neural ensembles for model-based offline reinforcement learning [2.9158689853305693]
  本稿では、利用可能なデータからシステムダイナミクスを推定し、仮想モデルロールアウトにおけるポリシー最適化を行うモデルベース強化学習アルゴリズムについて考察する。 このアプローチは、実際のシステムで破滅的な失敗を引き起こす可能性のあるモデルエラーを悪用することに対して脆弱である。 D4RLベンチマークの1つのよく校正された自己回帰モデルにより、より良い性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-05T10:18:15Z)
• EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
  連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。 本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-11T04:59:44Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Towards Flexible Time-to-event Modeling: Optimizing Neural Networks via Rank Regression [17.684526928033065]
  我々はDART(Time-to-event Prediction)のためのDeep AFT Rank-regressionモデルを導入する。 このモデルは、表現学習において効率的で信頼性の高いゲハンのランク統計に基づく客観的関数を用いる。 提案手法は, 生存時間分布に分布仮定を課さない半パラメトリックなAFTモデリング手法である。
  論文  参考訳（メタデータ） (2023-07-16T13:58:28Z)
• Alleviating the Effect of Data Imbalance on Adversarial Training [26.36714114672729]
  長い尾の分布に従うデータセットの逆トレーニングについて検討する。 我々は、新しい対人訓練フレームワーク、Re-balancing Adversarial Training (REAT)を提案する。
  論文  参考訳（メタデータ） (2023-07-14T07:01:48Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
  視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。 リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。 モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
  論文  参考訳（メタデータ） (2022-02-22T02:33:54Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)
• Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
  本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。 本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。 提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-10-19T14:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。