論文の概要: Efficient and Privacy Aware Edge Cloud Collaborative Inference for Large Language Models

• arxiv url: http://arxiv.org/abs/2607.13093v4
• Date: Thu, 23 Jul 2026 00:46:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 14:12:06.718578
• Title: Efficient and Privacy Aware Edge Cloud Collaborative Inference for Large Language Models
• Title（参考訳）: 大規模言語モデルのためのエッジクラウド協調推論を意識した効率的なプライバシ
• Authors: Cheng Li, Jiexiong Liu, Yixuan Chen, Yi Li,
• Abstract要約: 本稿では,認証KVキャッシュ上に構築された,プライバシ中心のエッジクラウド協調LLM推論フレームワークを提案する。 評価の結果、このフレームワークはトーケン毎のレイテンシを最大46.1%削減し、ダウンリンクペイロードを最大67.4%削減している。
• 参考スコア（独自算出の注目度）: 7.51065715735168
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-device LLM inference faces a trilemma of response latency, limited hardware resources and user privacy. Full cloud inference delivers strong computing power but exposes user prompts and dialogue data, while standalone on-device inference is unfeasible for most consumer and embedded edge devices. This paper presents a privacy-centric edge-cloud collaborative LLM inference framework built on endpoint-authenticated KV cache. Local endpoints handle input preprocessing, embedding computation, adaptive feature optimization, KV cache authentication, speculative decoding and low-dimensional model head calculation, while the cloud conducts authenticated decoder inference, KV cache management, token verification and high-dimensional vocabulary projection. Endpoints fuse partial outputs, apply language-adaptive masking and sample target tokens. All transmitted data and truncated logits are quantized and AES-GCM encrypted for privacy, with core lightweight modules, draft parameters and cache access policies kept local to avoid leakage. The framework supports heterogeneous devices including CPU-only, GPU-equipped and embedded devices via optimized streaming, batching and quantized ONNX deployment. Evaluations demonstrate that the framework reduces per-token latency by up to 46.1\% and downlink payloads by up to 67.4\% over baseline split inference, retaining comparable performance to full cloud inference.
• Abstract（参考訳）: オンデバイスLSM推論は、応答レイテンシ、ハードウェアリソースの制限、ユーザのプライバシのトリレンマに直面している。 フルクラウド推論は強力なコンピューティング能力を提供するが、ユーザプロンプトと対話データを公開する。 本稿では,エンドポイント認証KVキャッシュ上に構築した,プライバシ中心のエッジクラウド協調型LLM推論フレームワークを提案する。 ローカルエンドポイントは入力前処理、埋め込み計算、適応的特徴最適化、KVキャッシュ認証、投機的デコーディング、低次元モデルヘッド計算を処理し、クラウドは認証されたデコーダ推論、KVキャッシュ管理、トークン検証、高次元語彙予測を行う。 エンドポイントは部分出力を融合し、言語適応型マスキングとサンプルターゲットトークンを適用します。 送信されたデータと切り出されたログはすべて量子化され、AES-GCMはプライバシーのために暗号化され、コア軽量モジュール、ドラフトパラメータ、キャッシュアクセスポリシーはリークを避けるためにローカルに保持される。 このフレームワークは、最適化されたストリーミング、バッチ、量子化されたONNXデプロイメントを通じて、CPU専用、GPU搭載、組み込みデバイスを含む異種デバイスをサポートする。 評価によると、このフレームワークはトーケン毎のレイテンシを最大46.1\%削減し、ダウンリンクペイロードを67.4\%ベースライン分割推論で削減し、完全なクラウド推論に匹敵するパフォーマンスを維持する。

関連論文リスト

• Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment [60.442064966340524]
  本稿では、WiFi経由で接続されたNVIDIA Jetson Orin Nanoデバイスに関するプロトタイプ研究を行う。 主な発見は、主なボトルネックは、ネットワーク帯域幅だけでなく、通信中のCPU-GPUステージングである。 実験によると、この戦略はフルテンソル交換と比較して遅延を65%-77%減らし、エネルギー消費を34%-52%減らしている。
  論文  参考訳（メタデータ） (2026-05-25T10:39:28Z)
• WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
  WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。 WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。 NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
  論文  参考訳（メタデータ） (2026-04-20T01:29:56Z)
• HIPPO: Accelerating Video Large Language Models Inference via Holistic-aware Parallel Speculative Decoding [48.55833840968632]
  投機的復号化は、出力品質を犠牲にすることなくLSM推論を加速するための有望なアプローチとして登場した。 提案するHIPPOは,汎用的な並列投機復号化フレームワークである。 6つのベンチマークで4つのビデオLLMの実験では、HIPPOの有効性が示され、最大3.51倍のスピードアップが達成された。
  論文  参考訳（メタデータ） (2026-01-13T07:02:43Z)
• Fast SAM2 with Text-Driven Token Pruning [52.8350457627401]
  Segment Anything Model 2 (SAM2) では、視覚計算モデルがプロンプト駆動のビデオオブジェクトセグメンテーションにおいて大幅に進歩している。 SAM2パイプラインは、イメージエンコーダが生成するすべての視覚トークンを、ターゲットオブジェクトとの関係にかかわらず、下流の時間的推論モジュールを通じて伝達する。 本稿では,時間的伝播に先立ってトークン密度を選択的に低減し,推論効率を向上させるためのテキスト誘導型トークンプルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-24T18:59:05Z)
• PRISM: Privacy-Aware Routing for Adaptive Cloud-Edge LLM Inference via Semantic Sketch Collaboration [8.776463501718737]
  プライバシと推論品質を動的にバランスさせるコンテキスト認識フレームワークを提案する。 PRISMは,(1)エッジデバイスがエンティティレベルの感度をプロファイルし,(2)エッジ上のソフトゲーティングモジュールが実行モード - クラウド,エッジ,あるいはコラボレーションを選択し,(3)協調経路に対して,(3)エッジがエンティティリスクに基づいて適応的な2層局所微分プライバシーを適用し,(4)クラウドLLMが乱れたプロンプトからセマンティックスケッチを生成する。
  論文  参考訳（メタデータ） (2025-11-27T22:32:33Z)
• Design and Optimization of Cloud Native Homomorphic Encryption Workflows for Privacy-Preserving ML Inference [0.0]
  ホモモルフィック暗号化(HE)は、暗号化されたデータに対する暗号計算を可能にする魅力的な技術として登場した。 大規模クラウドネイティブパイプラインにおけるHEの統合は、高い計算オーバーヘッド、オーケストレーションの複雑さ、モデル互換性の問題によって制限されている。 本稿では、プライバシML推論をサポートするクラウドネイティブな同型暗号化の設計と最適化のための体系的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-28T15:13:32Z)
• CoSense-LLM: Semantics at the Edge with Cost- and Uncertainty-Aware Cloud-Edge Cooperation [0.0]
  CoSense-LLMは、連続したマルチモーダルセンサストリームをコンパクトなセマンティックトークンに変換するエッジファーストフレームワークである。 システムは、ページ化またはストリーミングKVキャッシュ、Flashスタイルのカーネル、投機的復号化、量子化されたLoRAアダプタなど、モダンなサービス最適化で動作する。
  論文  参考訳（メタデータ） (2025-10-22T15:16:56Z)
• A Novel Hat-Shaped Device-Cloud Collaborative Inference Framework for Large Language Models [12.644230479753476]
  従来のクラウドベースの大規模言語モデル(LLM)は、高精度な要件を満たすが、低遅延とプライバシー強化に対する重要な要求には欠ける。 我々は,U字型推論と投機的復号化の相補的長所を生かした,新しいデバイス-クラウド協調型推論フレームワークであるHATを提案する。 HATは,TTFTを41%,TBTを41%,TBTを77%削減し,有望な性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2025-03-23T10:54:58Z)
• Task-Oriented Feature Compression for Multimodal Understanding via Device-Edge Co-Inference [54.53508601749513]
  本稿では,マルチモーダル理解のためのタスク指向特徴圧縮(TOFC)手法を提案する。 圧縮効率を向上させるために、視覚特徴の特性に基づいて複数のエントロピーモデルを適応的に選択する。 その結果,TOFCはデータ転送オーバーヘッドを最大52%削減し,システム遅延を最大63%削減できることがわかった。
  論文  参考訳（メタデータ） (2025-03-17T08:37:22Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。