論文の概要: Model Agnostic Hybrid Sharding For Heterogeneous Distributed Inference
- arxiv url: http://arxiv.org/abs/2407.19775v1
- Date: Mon, 29 Jul 2024 08:18:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 14:45:43.873305
- Title: Model Agnostic Hybrid Sharding For Heterogeneous Distributed Inference
- Title（参考訳）: 不均一分散推論のためのモデル非依存ハイブリッドシャーディング
- Authors: Claudio Angione, Yue Zhao, Harry Yang, Ahmad Farhan, Fielding Johnston, James Buban, Patrick Colangelo,
- Abstract要約: Nesaは、分散AI推論用に設計されたモデルに依存しないシャーディングフレームワークを導入した。
私たちのフレームワークでは、ブロックチェーンベースのディープニューラルネットワークシャーディングを使用して、さまざまなノードネットワークに計算タスクを分散しています。
われわれの結果は、最先端のAI技術へのアクセスを民主化する可能性を強調している。
- 参考スコア（独自算出の注目度）: 11.39873199479642
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid growth of large-scale AI models, particularly large language models has brought significant challenges in data privacy, computational resources, and accessibility. Traditional centralized architectures often struggle to meet required data security and scalability needs which hinders the democratization of AI systems. Nesa introduces a model-agnostic sharding framework designed for decentralized AI inference. Our framework uses blockchain-based sequential deep neural network sharding to distribute computational tasks across a diverse network of nodes based on a personalised heuristic and routing mechanism. This enables efficient distributed training and inference for recent large-scale models even on consumer-grade hardware. We use compression techniques like dynamic blockwise quantization and mixed matrix decomposition to reduce data transfer and memory needs. We also integrate robust security measures, including hardware-based trusted execution environments to ensure data integrity and confidentiality. Evaluating our system across various natural language processing and vision tasks shows that these compression strategies do not compromise model accuracy. Our results highlight the potential to democratize access to cutting-edge AI technologies by enabling secure and efficient inference on a decentralized network.
- Abstract（参考訳）: 大規模AIモデル、特に大規模言語モデルの急速な成長は、データのプライバシ、計算リソース、アクセシビリティに重大な課題をもたらしている。
従来の集中型アーキテクチャは、AIシステムの民主化を妨げるデータセキュリティとスケーラビリティのニーズを満たすのに苦労することが多い。
Nesaは、分散AI推論用に設計されたモデルに依存しないシャーディングフレームワークを導入した。
我々のフレームワークはブロックチェーンベースのシーケンシャルディープニューラルネットワークシャーディングを使用して、パーソナライズされたヒューリスティックなルーティング機構に基づいて、さまざまなノードのネットワークに計算タスクを分散する。
これにより、コンシューマグレードのハードウェアでも、最近の大規模モデルの効率的な分散トレーニングと推論が可能になる。
動的ブロックワイド量子化や混合行列分解のような圧縮技術を用いて、データ転送とメモリ要求を減らす。
データ完全性と機密性を保証するため、ハードウェアベースの信頼できる実行環境を含む堅牢なセキュリティ対策も統合しています。
様々な自然言語処理や視覚タスクにまたがってシステムを評価することで,これらの圧縮戦略がモデルの精度を損なわないことを示す。
我々の結果は、分散化されたネットワーク上でセキュアで効率的な推論を可能にすることによって、最先端のAI技術へのアクセスを民主化する可能性を強調します。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Complete Security and Privacy for AI Inference in Decentralized Systems [14.526663289437584]
大規模なモデルは病気の診断のようなタスクには不可欠ですが、繊細でスケーラビリティに欠ける傾向があります。
Nesaはこれらの課題を、複数のテクニックを使って包括的なフレームワークで解決し、データとモデル出力を保護する。
ネサの最先端の証明と原則は、このフレームワークの有効性を実証している。
論文 参考訳（メタデータ） (2024-07-28T05:09:17Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - From Algorithm to Hardware: A Survey on Efficient and Safe Deployment of Deep Neural Networks [23.928893359202753]
ディープニューラルネットワーク(DNN)は多くの人工知能(AI)タスクで広く使われている。
それらのデプロイは、メモリ、エネルギ、計算の膨大なコストのために、大きな課題をもたらします。
近年,性能を保ちながらモデル効率を達成するための圧縮法の研究が急増している。
論文 参考訳（メタデータ） (2024-05-09T18:17:25Z) - Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。
FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。
実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
論文 参考訳（メタデータ） (2024-01-22T14:16:37Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Advancing Federated Learning in 6G: A Trusted Architecture with
Graph-based Analysis [6.192092124154705]
フェデレートラーニング(FL)は潜在的なパラダイムであり、中央サーバの調整の下でさまざまなデバイスにわたる分散AIモデルトレーニングを促進する。
本研究は,DLT(Distributed Ledger Technology)とGNN(Graph Neural Network)を利用したFLをサポートするための信頼性の高いアーキテクチャを提案する。
新たなアーキテクチャの実現性はシミュレーションにより検証され, 異常モデル検出における性能向上と, 関連するベースラインと比較して大域的モデル精度が向上した。
論文 参考訳（メタデータ） (2023-09-11T15:10:41Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - Evaluating Distribution System Reliability with Hyperstructures Graph
Convolutional Nets [74.51865676466056]
本稿では,グラフ畳み込みネットワークとハイパー構造表現学習フレームワークを,精度,信頼性,計算効率のよい分散グリッド計画に活用する方法を示す。
数値実験の結果,提案手法は計算効率を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2022-11-14T01:29:09Z) - RL-DistPrivacy: Privacy-Aware Distributed Deep Inference for low latency
IoT systems [41.1371349978643]
本稿では,流通戦略の再考を通じて協調的深層推論の安全性を目標とするアプローチを提案する。
我々は、この手法を最適化として定式化し、コ推論のレイテンシとプライバシーレベルのデータのトレードオフを確立する。
論文 参考訳（メタデータ） (2022-08-27T14:50:00Z) - Robust, Deep, and Reinforcement Learning for Management of Communication
and Power Networks [6.09170287691728]
本論文は、まず、分散不確実性や逆データに対して汎用機械学習モデルを堅牢にするための原則的手法を開発する。
次に、この堅牢なフレームワークの上に構築し、グラフメソッドによる堅牢な半教師付き学習を設計します。
この論文の第2部は、次世代の有線および無線ネットワークの可能性を完全に解き放つことを意図している。
論文 参考訳（メタデータ） (2022-02-08T05:49:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。