論文の概要: Maverick: Private and Verifiable LLM Inference Made Practical via Matrix-Vector Multiplication Delegation

• arxiv url: http://arxiv.org/abs/2609.10264v1
• Date: Wed, 09 Sep 2026 14:53:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:09.06875
• Title: Maverick: Private and Verifiable LLM Inference Made Practical via Matrix-Vector Multiplication Delegation
• Title（参考訳）: Maverick: 行列ベクトル乗算法によるプライベートかつ検証可能なLLM推論
• Abstract要約: オープンソースの大規模言語モデル(LLM)は、クローズドソースモデルとますます競合している。 LLMは、サービスプロバイダにユーザ入力を公開することなく、透過性と推論を実行する機能を提供する。 大規模モデルをローカルに実行するには、かなりの計算資源が必要である。 我々は、プライベートかつ検証可能なLLM推論に対する新しいアプローチであるMaverickを提示する。
• 参考スコア（独自算出の注目度）: 16.403569514657548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-source large language models (LLMs) are increasingly competitive with closed-source models while offering transparency and the ability to run inference without exposing user inputs to a service provider. However, running large-scale models locally requires substantial computational resources. In practice, users may still resort to a third-party provider, giving rise to privacy and correctness concerns. Existing solutions that address these problems often impose substantial server overhead or introduce additional trust assumptions. In this paper, we present Maverick, a novel approach to private and verifiable LLM inference based on a protocol for delegating matrix-vector multiplication, a dominant operation in LLMs. At its core, Maverick provides, to our knowledge, the first information-theoretically sound verification protocol for matrix-vector multiplication delegation with transparent preprocessing, efficient (batch) verification, and virtually no server overhead. We combine this verification primitive with LPN-based pseudorandom masking to provide input privacy. We implement our matrix-vector delegation primitive and use it to build an end-to-end prototype of Maverick, which we evaluate on Qwen3-4B by measuring throughput in tokens per second. We evaluate client configurations with 1-8 threads. With one client thread and a CPU server using up to 128 threads, Maverick achieves throughput gains over local inference of up to 17x when privacy masks are generated online, 45x when they are precomputed, and 44x when only verification is required. With four client threads, the corresponding gains are 13x, 18x, and 17x. When server computation is no longer the bottleneck, client-side microbenchmarks with simulated network delay show speedups of 12x-20x, 34x-135x, and 38x-157x.
• Abstract（参考訳）: オープンソースの大規模言語モデル(LLM)は、クローズドソースモデルとの競争が激化しつつあり、透明性と、ユーザ入力をサービスプロバイダに公開せずに推論を実行する機能を提供する。 しかし、大規模モデルをローカルで実行するには、かなりの計算資源が必要である。 実際には、ユーザは依然としてサードパーティのプロバイダに頼り、プライバシと正当性に関する懸念を生じさせる可能性がある。 これらの問題に対処する既存のソリューションは、サーバにかなりのオーバーヘッドを課す場合や、追加の信頼前提を導入する場合があります。 本稿では, LLM における行列ベクトル乗法を導出するプロトコルに基づく, プライベートかつ検証可能な LLM 推論の新しい手法である Maverick を提案する。 コアとなるMaverickは、私たちの知る限り、透過的な前処理、効率的な(バッチ)検証、事実上サーバーオーバーヘッドのない行列ベクトル乗法デリゲートのための、最初の情報理論的健全な検証プロトコルを提供する。 この検証プリミティブをLPNベースの疑似ランダムマスキングと組み合わせて、入力プライバシを提供する。 我々は行列ベクトルデリゲートプリミティブを実装し、それをMaverickのエンドツーエンドプロトタイプの構築に利用し、Qwen3-4Bで1秒あたりのトークンのスループットを測定して評価する。 クライアント構成を1-8スレッドで評価する。 1つのクライアントスレッドと128スレッドのCPUサーバを使用すると、Maverickは、オンラインでプライバシマスクが生成されるときのローカル推論のスループットを最大17倍、プリコンパイルされたときの45倍、検証が必要なときの44倍に向上する。 4つのクライアントスレッドでは、対応するゲインは13x、18x、17xである。 サーバの計算がボトルネックにならない場合、ネットワーク遅延をシミュレーションしたクライアント側のマイクロベンチマークは、12x-20x、34x-135x、38x-157xのスピードアップを示す。

関連論文リスト

• Lower Bounds for PIR with Preprocessing from Blackbox Cryptography [57.20693707878285]
  プリプロセッシングによるシングルサーバプライベート情報検索(PIR)の限界について検討する。 本研究は,プリプロセッシングを伴うシングルサーバPIRに対して,計算の低いバウンダリを提示する。
  論文  参考訳（メタデータ） (2026-07-07T16:12:48Z)
• ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
  ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。 全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
  論文  参考訳（メタデータ） (2026-06-30T06:06:08Z)
• AgentCompile: An LLM-Guided Compiler for Direct CUDA Inference [58.285369364699]
  本稿では,LDM出力をアドバイザリ検索メタデータとしてのみ使用するLDM誘導型推論コンパイラであるAgentCompileを提案する。 コンパイラ由来の領域要約と境界付き候補空間が与えられた後、LLMはセマンティックラベル、候補優先順位、パラメータヒント、リスクアノテーションを提案する。 AgentCompileは、グラフテンプレートを通じて候補を実体化し、インターフェースとハードウェアの制約をチェックし、試験的に候補を検証する。 エンドツーエンドの自動回帰生成では、AgentCompileはQwen3-1.7B上のPyTorch上で平均5.66x、4.05x、4.26xのスピードアップを行う。
  論文  参考訳（メタデータ） (2026-06-04T03:49:56Z)
• WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
  WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。 WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。 NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
  論文  参考訳（メタデータ） (2026-04-20T01:29:56Z)
• SpecEyes: Accelerating Agentic Multimodal LLMs via Speculative Perception and Planning [104.01865949020304]
  エージェント・マルチモーダル・大規模言語モデル(MLLM)は,反復的な視覚的ツールの実行によって顕著な推論能力を達成する。 しかし、カスケード認識、推論、ツール呼び出しループは、重要なシーケンシャルなオーバーヘッドをもたらす。 このオーバーヘッドはエージェントディープと呼ばれ、禁止されたレイテンシを発生させ、システムレベルのスループットを著しく制限します。 本稿では,エージェントレベルの投機的アクセラレーションフレームワークであるSpecEyesを提案する。
  論文  参考訳（メタデータ） (2026-03-24T17:45:47Z)
• Your Inference Request Will Become a Black Box: Confidential Inference for Cloud-based Large Language Models [39.390624817461905]
  Talariaは、クライアントデータを保護するためにLarge Language Modelsパイプラインを分割する機密推論フレームワークである。 Talariaは、クライアントが制御するConfidential Virtual Machine内で、機密で重量に依存しない操作を実行する。 タラリアは最先端のトークン推論攻撃に対して防御でき、トークン再構成の精度は97.5%以上から平均1.34%まで低下する。
  論文  参考訳（メタデータ） (2026-02-27T06:37:07Z)
• SpecEdge: Scalable Edge-Assisted Serving Framework for Interactive LLMs [3.417027762559937]
  大規模言語モデル(LLM)は多くのモダンなアプリケーションに電力を供給するが、大規模で費用がかかり、リソースを消費する。 私たちは、エッジとサーバGPU間でLLMワークロードを分割する、エッジ支援推論フレームワークであるSpecEdgeを紹介します。 SpecEdgeはサーバのスループットを2.22倍にすることでコスト効率を1.91倍に向上し、サーバのみのベースラインに比べてトークン間のレイテンシを11.24%削減する。
  論文  参考訳（メタデータ） (2025-05-16T14:17:59Z)
• zkVC: Fast Zero-Knowledge Proof for Private and Verifiable Computing [22.9161853847536]
  Zero-Knowledge Proof (ZKP) として知られる暗号手法は、プライベートで検証可能な計算を容易にすることで有名である。 ZkVC は Constraint-reduced Polynomial Circuit (CRPC) や Prefix-Sum Query (PSQ) などの最適化 ZKP モジュールを統合している。 コードはhttps://github.com/UCF-Lou-Lab-PET/zkformerで入手できる。
  論文  参考訳（メタデータ） (2025-04-16T16:11:11Z)
• SVIP: Towards Verifiable Inference of Open-source Large Language Models [33.910670775972335]
  本稿では,秘密ベースで検証可能なLarge Language Models推論プロトコルであるSVIPを紹介する。 我々のプロトコルは、LLMから生成されたテキストと処理された隠された表現の両方を返さなければならない。 SVIPは5%未満の偽陰性率と3%未満の偽陰性率を達成し、検証のプロンプトクエリ毎に0.01秒未満である。
  論文  参考訳（メタデータ） (2024-10-29T17:52:45Z)
• DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning Based on Constant-Overhead Linear Secret Resharing [51.336015600778396]
  本稿では,ベスト・オブ・ボス・ワールドを実現するための分散行列機構,分散DPのプライバシ向上,行列機構の実用性向上について紹介する。 我々は、異なるトレーニングイテレーションのクライアント委員会間で、一定の通信オーバーヘッドで機密値をセキュアに転送する、新しい暗号プロトコルを用いてこれを実現する。
  論文  参考訳（メタデータ） (2024-10-21T16:25:14Z)
• Side Adapter Network for Open-Vocabulary Semantic Segmentation [69.18441687386733]
  本稿では,Side Adapter Network (SAN) という,事前学習された視覚言語モデルを用いたオープン語彙セマンティックセマンティックセマンティックセマンティクスのための新しいフレームワークを提案する。 サイドネットワークは凍結したCLIPモデルにアタッチされ、ひとつはマスクの提案を予測し、もうひとつは注意バイアスを予測する。 トレーニング可能なパラメータは最大で18倍,推論速度は19倍に向上した。
  論文  参考訳（メタデータ） (2023-02-23T18:58:28Z)
• ARIANN: Low-Interaction Privacy-Preserving Deep Learning via Function Secret Sharing [2.6228228854413356]
  AriaNNは、機密データに対するプライベートニューラルネットワークトレーニングと推論のための、低インタラクションのプライバシ保護フレームワークである。 我々は、ReLU、MaxPool、BatchNormといったニューラルネットワークの構築ブロックのためのプリミティブを設計する。 n-party private federated learning をサポートするための拡張として,当社のフレームワークを実装した。
  論文  参考訳（メタデータ） (2020-06-08T13:40:27Z)
• Optimizing Privacy-Preserving Outsourced Convolutional Neural Network Predictions [23.563775490174415]
  近年の研究では、クエリと結果のプライバシに焦点が当てられているが、モデルホストサーバに対してモデルプライバシを提供していない。 本稿では,アウトソース環境でのプライバシ保護型ニューラルネットワーク予測のための新しい手法を提案する。 我々は、秘密の共有とトリプルト生成を伴う2つの非凝固サーバを活用して、重厚暗号の使用を最小限にする。
  論文  参考訳（メタデータ） (2020-02-22T08:47:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。