論文の概要: Proof of Quality: A Costless Paradigm for Trustless Generative AI Model Inference on Blockchains
- arxiv url: http://arxiv.org/abs/2405.17934v1
- Date: Tue, 28 May 2024 08:00:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 19:47:39.145335
- Title: Proof of Quality: A Costless Paradigm for Trustless Generative AI Model Inference on Blockchains
- Title（参考訳）: Proof of Quality: ブロックチェーン上の信頼できない生成AIモデル推論のためのコストレスパラダイム
- Authors: Zhenjie Zhang, Yuyang Rao, Hao Xiao, Xiaokui Xiao, Yin Yang,
- Abstract要約: 生成AIモデルは、自然言語や画像タスクにおいて強力で破壊的な能力を示している。
これらのモデルを分散環境で展開することは 依然として困難です
ブロックチェーンアーキテクチャ上に任意の大規模な生成モデルをデプロイ可能にするために,Emphproof of Quality(PoQ)と呼ばれる新たな推論パラダイムを提案する。
- 参考スコア（独自算出の注目度）: 24.934767209724335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative AI models, such as GPT-4 and Stable Diffusion, have demonstrated powerful and disruptive capabilities in natural language and image tasks. However, deploying these models in decentralized environments remains challenging. Unlike traditional centralized deployment, systematically guaranteeing the integrity of AI model services in fully decentralized environments, particularly on trustless blockchains, is both crucial and difficult. In this paper, we present a new inference paradigm called \emph{proof of quality} (PoQ) to enable the deployment of arbitrarily large generative models on blockchain architecture. Unlike traditional approaches based on validating inference procedures, such as ZKML or OPML, our PoQ paradigm focuses on the outcome quality of model inference. Using lightweight BERT-based cross-encoders as our underlying quality evaluation model, we design and implement PQML, the first practical protocol for real-world NLP generative model inference on blockchains, tailored for popular open-source models such as Llama 3 and Mixtral. Our analysis demonstrates that our protocol is robust against adversarial but rational participants in ecosystems, where lazy or dishonest behavior results in fewer benefits compared to well-behaving participants. The computational overhead of validating the quality evaluation is minimal, allowing quality validators to complete the quality check within a second, even using only a CPU. Preliminary simulation results show that PoQ consensus is generated in milliseconds, 1,000 times faster than any existing scheme.
- Abstract（参考訳）: GPT-4やStable Diffusionのような生成AIモデルは、自然言語や画像タスクにおいて強力で破壊的な機能を示している。
しかしながら、これらのモデルを分散化された環境にデプロイすることは依然として困難である。
従来の集中型デプロイメントとは異なり、完全に分散化された環境で、特に信頼性のないブロックチェーンにおいて、AIモデルサービスの整合性を保証することは、極めて重要かつ難しい。
本稿では,ブロックチェーンアーキテクチャ上の任意の大規模生成モデルのデプロイを可能にするために,‘emph{proof of quality}(PoQ)’と呼ばれる新たな推論パラダイムを提案する。
ZKMLやOPMLのような推論手順の検証に基づく従来のアプローチとは異なり、私たちのPoQパラダイムはモデル推論の結果品質に重点を置いています。
当社の基盤となる品質評価モデルとして、軽量BERTベースのクロスエンコーダを使用することで、Llama 3やMixtralといった一般的なオープンソースモデルに適した、ブロックチェーン上の実世界のNLP生成モデル推論のための、最初の実用的なプロトコルであるPQMLを設計し、実装しています。
我々の分析は、我々のプロトコルが敵対的だが合理的な生態系の参加者に対して堅牢であることを示す。
品質評価を検証する際の計算オーバーヘッドは最小限であり、品質検証者はCPUのみを使用しても1秒以内に品質チェックを完了することができる。
予備シミュレーションの結果は、PoQコンセンサスが既存のどのスキームよりも1000倍速いミリ秒で生成されることを示している。
関連論文リスト
- Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。
本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。
LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
論文 参考訳（メタデータ） (2024-04-18T15:47:00Z) - Contrastive Pre-Training with Multi-View Fusion for No-Reference Point Cloud Quality Assessment [49.36799270585947]
No-Reference Point Cloud Quality Assessment (NR-PCQA) は、歪んだ点雲の知覚的品質を、参照なしで自動的に評価することを目的としている。
我々は,PCQA(CoPA)に適した新しいコントラスト付き事前学習フレームワークを提案する。
提案手法は,最新のPCQA手法よりも高い性能を示す。
論文 参考訳（メタデータ） (2024-03-15T07:16:07Z) - Enhancing Security in Federated Learning through Adaptive
Consensus-Based Model Update Validation [2.28438857884398]
本稿では,ラベルフリップ攻撃に対して,FL(Federated Learning)システムを構築するための高度なアプローチを提案する。
本稿では,適応的しきい値設定機構と統合されたコンセンサスに基づく検証プロセスを提案する。
以上の結果から,FLシステムのレジリエンスを高め,ラベルフリップ攻撃の顕著な緩和効果が示唆された。
論文 参考訳（メタデータ） (2024-03-05T20:54:56Z) - The Implications of Decentralization in Blockchained Federated Learning: Evaluating the Impact of Model Staleness and Inconsistencies [2.6391879803618115]
ブロックチェーンのような民主的な環境にフェデレートされた学習のオーケストレーションをアウトソーシングすることの実践的意義について検討する。
シミュレーションを用いて、よく知られたMNISTとCIFAR-10データセットに2つの異なるMLモデルを適用することにより、ブロックチェーンFL動作を評価する。
以上の結果から,モデルの不整合がモデルの精度に及ぼす影響(予測精度の最大35%低下)が示唆された。
論文 参考訳（メタデータ） (2023-10-11T13:18:23Z) - A Model-Based Machine Learning Approach for Assessing the Performance of
Blockchain Applications [0.0]
ブロックチェーンのパフォーマンスを予測するために、機械学習(ML)モデルベースの手法を使用します。
我々は、最適なブロックチェーン構成を調査できるSalp Swarm Optimization (SO) MLモデルを採用している。
この$k$NNモデルはSVMを5%上回り、ISOは通常のSOに比べて4%の不正確な偏差を減少させることを示した。
論文 参考訳（メタデータ） (2023-09-20T10:39:21Z) - A Distributed Computation Model Based on Federated Learning Integrates
Heterogeneous models and Consortium Blockchain for Solving Time-Varying
Problems [35.69540692050138]
本稿では,コンソーシアムブロックチェーンネットワークに基づく分散計算モデル(DCM)を提案する。
実験では,DCMの効率を検証し,提案モデルが多くの最先端モデルより優れていることを示す。
論文 参考訳（メタデータ） (2023-06-28T08:50:35Z) - A Framework for Demonstrating Practical Quantum Advantage: Racing
Quantum against Classical Generative Models [62.997667081978825]
生成モデルの一般化性能を評価するためのフレームワークを構築した。
古典的および量子生成モデル間の実用的量子優位性(PQA)に対する最初の比較レースを確立する。
以上の結果から,QCBMは,他の最先端の古典的生成モデルよりも,データ制限方式の方が効率的であることが示唆された。
論文 参考訳（メタデータ） (2023-03-27T22:48:28Z) - Federated Learning with Quantum Secure Aggregation [23.385315728881295]
このスキームは、プライベートモデルパラメータが半正直な攻撃者に開示されるのを防ぐために安全である。
提案されたセキュリティメカニズムにより、プライベートモデルのパラメータを盗聴しようとする試みが直ちに検出され、停止されることが保証される。
論文 参考訳（メタデータ） (2022-07-09T13:21:36Z) - Covert Model Poisoning Against Federated Learning: Algorithm Design and
Optimization [76.51980153902774]
フェデレーテッド・ラーニング(FL)はパラメータ伝達中にFLモデルに対する外部攻撃に対して脆弱である。
本稿では,最先端の防御アグリゲーション機構に対処する有効なMPアルゴリズムを提案する。
実験の結果,提案したCMPアルゴリズムは,既存の攻撃機構よりも効果的で,かなり優れていることが示された。
論文 参考訳（メタデータ） (2021-01-28T03:28:18Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳（メタデータ） (2021-01-18T07:19:08Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳（メタデータ） (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。