論文の概要: Decentralized AI: Permissionless LLM Inference on POKT Network
- arxiv url: http://arxiv.org/abs/2405.20450v1
- Date: Thu, 30 May 2024 19:50:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 18:14:59.040428
- Title: Decentralized AI: Permissionless LLM Inference on POKT Network
- Title（参考訳）: 分散AI: POKT ネットワーク上の無許可 LLM 推論
- Authors: Daniel Olshansky, Ramiro Rodriguez Colmeiro, Bowen Li,
- Abstract要約: POKT Networkの分散リモートプロシージャコールインフラストラクチャは、2020年にMainNetでローンチして以来、7400億のリクエストを突破している。
この論文は、このネットワークのオープンソースでパーミッションレスな設計が、モデル研究者、ハードウェアオペレータ、APIプロバイダ、ユーザ間のインセンティブをどのように調整するかを説明している。
- 参考スコア（独自算出の注目度）: 8.68822221491139
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: POKT Network's decentralized Remote Procedure Call (RPC) infrastructure, surpassing 740 billion requests since launching on MainNet in 2020, is well-positioned to extend into providing AI inference services with minimal design or implementation modifications. This litepaper illustrates how the network's open-source and permissionless design aligns incentives among model researchers, hardware operators, API providers and users whom we term model Sources, Suppliers, Gateways and Applications respectively. Through its Relay Mining algorithm, POKT creates a transparent marketplace where costs and earnings directly reflect cryptographically verified usage. This decentralized framework offers large model AI researchers a new avenue to disseminate their work and generate revenue without the complexities of maintaining infrastructure or building end-user products. Supply scales naturally with demand, as evidenced in recent years and the protocol's free market dynamics. POKT Gateways facilitate network growth, evolution, adoption, and quality by acting as application-facing load balancers, providing value-added features without managing LLM nodes directly. This vertically decoupled network, battle tested over several years, is set up to accelerate the adoption, operation, innovation and financialization of open-source models. It is the first mature permissionless network whose quality of service competes with centralized entities set up to provide application grade inference.
- Abstract（参考訳）: POKT Networkの分散リモートプロシージャコール(RPC)インフラストラクチャは、2020年にMainNetでローンチして以来、7400億のリクエストを突破している。
この図は、モデル研究者、ハードウェアオペレータ、APIプロバイダ、およびモデルソース、サプライヤ、ゲートウェイ、アプリケーションと呼ぶユーザ間のインセンティブを、このネットワークのオープンソースおよびパーミッションレス設計がどのように整合させるかを説明している。
Relay Miningアルゴリズムを通じて、POKTは透明性のあるマーケットプレースを作成し、コストと収益は暗号的に検証された利用を直接反映する。
この分散化フレームワークは、大規模なモデルAI研究者に、インフラストラクチャの維持やエンドユーザ製品の構築といった複雑さを伴わずに、自分たちの仕事を分散し、収益を生み出すための新たな道を提供する。
近年で証明されているように、供給は需要とともに自然に拡大し、プロトコルのフリーマーケットのダイナミクスも変化している。
POKT Gatewayは、アプリケーション対応ロードバランサとして機能し、LLMノードを直接管理せずに付加価値機能を提供することで、ネットワークの成長、進化、採用、品質を促進する。
この垂直に分離されたネットワークは、数年前にテストされ、オープンソースモデルの採用、運用、革新、財務化を加速するために設定されている。
サービスの品質がアプリケーショングレードの推論を提供するために設定された集中型エンティティと競合する、最初の成熟したパーミッションレスネットワークである。
関連論文リスト
- Intelligent Mobile AI-Generated Content Services via Interactive Prompt Engineering and Dynamic Service Provisioning [55.641299901038316]
AI生成コンテンツは、ネットワークエッジで協調的なMobile AIGC Service Providers(MASP)を編成して、リソース制約のあるユーザにユビキタスでカスタマイズされたコンテンツを提供することができる。
このようなパラダイムは2つの大きな課題に直面している: 1) 生のプロンプトは、ユーザーが特定のAIGCモデルで経験していないために、しばしば生成品質が低下する。
本研究では,Large Language Model (LLM) を利用してカスタマイズしたプロンプトコーパスを生成する対話型プロンプトエンジニアリング機構を開発し,政策模倣に逆強化学習(IRL)を用いる。
論文 参考訳（メタデータ） (2025-02-17T03:05:20Z) - NNsight and NDIF: Democratizing Access to Open-Weight Foundation Model Internals [58.83169560132308]
NNsightとNDIFは、非常に大きなニューラルネットワークの科学的研究を可能にするために、タンデムで機能する技術である。
NNsightは、遅延リモート実行を導入するためにPyTorchを拡張したオープンソースのシステムである。
NDIFは、NNsightリクエストを実行するスケーラブルな推論サービスで、GPUリソースと事前トレーニングされたモデルを共有することができる。
論文 参考訳（メタデータ） (2024-07-18T17:59:01Z) - A Learning-based Incentive Mechanism for Mobile AIGC Service in Decentralized Internet of Vehicles [49.86094523878003]
モバイルAIGCサービスアロケーションのための分散インセンティブ機構を提案する。
我々は、AIGCサービスのRSUへの供給と、IoVコンテキスト内のサービスに対するユーザ要求のバランスを見つけるために、マルチエージェントの深層強化学習を採用している。
論文 参考訳（メタデータ） (2024-03-29T12:46:07Z) - MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。
本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文 参考訳（メタデータ） (2024-02-26T18:59:03Z) - Elastic Entangled Pair and Qubit Resource Management in Quantum Cloud
Computing [73.7522199491117]
量子クラウドコンピューティング(QCC)は、量子コンピューティングリソースを効率的に提供するための有望なアプローチを提供する。
ユーザ需要の変動と量子回路の要求は、効率的なリソース供給のために困難である。
本稿では、量子コンピューティングとネットワークリソースのプロビジョニングのためのリソース割り当てモデルを提案する。
論文 参考訳（メタデータ） (2023-07-25T00:38:46Z) - Relay Mining: Incentivizing Full Non-Validating Nodes Servicing All RPC Types [0.0]
リレーマイニング(Relay Mining)は、クライアントからサーバへのリモートプロシージャコール(RPC)のボリュームを推定し、証明する。
デジタル署名、コミット・アンド・リベラルスキーム、Sparse Merkle Sum Tries (SMSTs)を活用して、作業の量を証明する。
分散台帳上のネイティブ暗号は、アプリケーションを制限するために使われ、過剰使用を非インセンティブ化する。
論文 参考訳（メタデータ） (2023-05-18T03:23:41Z) - Deep Recurrent Learning Through Long Short Term Memory and TOPSIS [0.0]
クラウドコンピューティングの安価で簡単で迅速な管理の約束により、ビジネスオーナーはモノリシックからデータセンタ/クラウドベースのERPへの移行を迫られます。
クラウドERP開発には、計画、実装、テスト、アップグレードといった循環的なプロセスが伴うため、その採用はディープリカレントニューラルネットワーク問題として実現されている。
我々の理論モデルは、キープレーヤー、サービス、アーキテクチャ、機能を明確にすることで、参照モデル上で検証される。
論文 参考訳（メタデータ） (2022-12-30T10:35:25Z) - Evaluation of a blockchain-enabled resource management mechanism for
NGNs [0.0]
本稿では,ネットワークプロバイダ間の資源管理と交渉におけるブロックチェーン技術の利用について検討する。
リソース管理機構の実装はスマートコントラクト(SC)で記述され、テストベッドはそれぞれRaftとIBFTのコンセンサス機構を使用している。
論文 参考訳（メタデータ） (2022-11-01T13:40:26Z) - KAIROS: Building Cost-Efficient Machine Learning Inference Systems with
Heterogeneous Cloud Resources [10.462798429064277]
KAIROSは、目標達成時のクエリスループットとコスト予算を最大化する、新しいランタイムフレームワークである。
産業レベルのディープラーニング(DL)モデルを用いて評価した結果,KAIROSは最適均一解のスループットを最大2倍に向上することがわかった。
論文 参考訳（メタデータ） (2022-10-12T03:06:51Z) - AI in 6G: Energy-Efficient Distributed Machine Learning for Multilayer
Heterogeneous Networks [7.318997639507269]
本稿では,ネットワーク層とエンティティにまたがるさまざまな機械学習手法に関連するタスクを分散する,階層ベースの新しいHetNetアーキテクチャを提案する。
このようなHetNetは、複数のアクセス方式と、エネルギー効率を高めるためのデバイス間通信(D2D)を備えている。
論文 参考訳（メタデータ） (2022-06-04T22:03:19Z) - Adaptive Stochastic ADMM for Decentralized Reinforcement Learning in
Edge Industrial IoT [106.83952081124195]
強化学習 (Reinforcement Learning, RL) は, 意思決定および最適制御プロセスのための有望な解法として広く研究されている。
本稿では,Adaptive ADMM (asI-ADMM)アルゴリズムを提案する。
実験の結果,提案アルゴリズムは通信コストやスケーラビリティの観点から技術状況よりも優れており,複雑なIoT環境に適応できることがわかった。
論文 参考訳（メタデータ） (2021-06-30T16:49:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。