論文の概要: FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation

• arxiv url: http://arxiv.org/abs/2606.23370v1
• Date: Mon, 22 Jun 2026 14:05:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 19:27:16.565835
• Title: FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation
• Title（参考訳）: FlexServe: 柔軟なリソース分離を備えたモバイルデバイスのための高速かつセキュアなLLMサービングシステム
• Authors: Yinpeng Wu, Yitong Chen, Lixiang Wang, Jinyu Gu, Zhichao Hua, Yubin Xia,
• Abstract要約: 本稿では,モバイルデバイス用高速かつセキュアなLarge Language Models推論システムFlexServeについて述べる。 鍵となる考え方は、アクセス許可をセキュアなリソースの管理権限から切り離すことであり、通常のOSではアクセスできないが、通常のように管理できる。 その結果、FlexServeはストローマンで平均10.05倍、最適化したストローマンで2.44倍のTTFTスピードアップを達成した。
• 参考スコア（独自算出の注目度）: 5.010910125757857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Device-side Large Language Models (LLMs) have grown explosively, offering stronger privacy and higher availability than their cloud-side counterparts. During LLM inference, both the model weights and the user data are valuable, and attackers may compromise the OS kernel to steal them. ARM TrustZone is the de facto hardware-based isolation technology on mobile devices, used to protect sensitive applications from a compromised OS. However, protecting LLM inference with TrustZone incurs significant overhead to both the secure inference and the normal aplications, due to two challenges: the inflexible resource isolation and the inefficient secure resource management. To address these challenges, this paper presents FlexServe, a fast and secure LLM inference system for mobile devices. The key idea is to decouple the access permission from the management permission of secure resources, so that the normal-world OS cannot access them but can still manage them as usual. First, FlexServe introduces a Recallable Resource Isolation mechanism to construct Recallable Secure Memory (Flex-Mem) and a Recallable Secure NPU (Flex-NPU). They can only be accessed by the secure world, but can be efficiently allocated and reclaimed by the normal-world OS. Based on them, FlexServe further introduces a FlexServe Framework to run secure LLM inference in the secure world. It works together with the normal-world OS to perform cooperative secure memory management. We implement a prototype of FlexServe and compare it with two TrustZone-based strawman designs. The results show that FlexServe achieves average TTFT speedups of 10.05X over the strawman and 2.44X over an optimized strawman.
• Abstract（参考訳）: デバイスサイドの大規模言語モデル(LLM)は爆発的に成長し、クラウド側のモデルよりも強力なプライバシと高可用性を提供する。 LLM推論では、モデルの重みとユーザデータの両方が貴重であり、攻撃者はOSカーネルを侵害して盗む可能性がある。 ARM TrustZoneは、モバイルデバイス上の事実上のハードウェアベースのアイソレーション技術であり、機密性の高いアプリケーションを侵害されたOSから保護するために使用される。 しかし、TrustZoneによるLLM推論の保護は、柔軟性のないリソース分離と非効率的なリソース管理という2つの課題により、セキュアな推論と通常の意味の両方に大きなオーバーヘッドをもたらす。 これらの課題に対処するために,モバイルデバイス用高速かつセキュアなLLM推論システムFlexServeを提案する。 鍵となる考え方は、アクセス許可をセキュアなリソースの管理権限から切り離すことであり、通常のOSではアクセスできないが、通常のように管理できる。 まず、FlexServeはリコール可能なリソース分離機構を導入し、リコール可能なセキュアメモリ(Flex-Mem)とリコール可能なセキュアNPU(Flex-NPU)を構築します。 それらはセキュアな世界からしかアクセスできないが、通常の世界のOSによって効率的に割り当てられ、再利用される。 FlexServeはさらに、セキュアなLLM推論をセキュアな世界で実行するFlexServeフレームワークも導入している。 通常のOSと連携して、協調的にセキュアなメモリ管理を行う。 We implement a prototype of FlexServe and compared it with two TrustZone-based strawman design。 その結果、FlexServeはストローマンで平均10.05倍、最適化したストローマンで2.44倍のTTFTスピードアップを達成した。

関連論文リスト

• FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation [5.010910125757857]
  ARM TrustZoneは、モバイルデバイス上の事実上のハードウェアベースの分離技術である。 本稿では,モバイル端末向け高速かつセキュアなLarge Language Models (LLM) サービスシステムであるFlexServeを紹介する。
  論文  参考訳（メタデータ） (2026-03-10T00:31:25Z)
• Odysseus: Jailbreaking Commercial Multimodal LLM-integrated Systems via Dual Steganography [77.44136793431893]
  本稿では,悪質なクエリを隠蔽して良質な画像に埋め込むために,二重ステガノグラフィーを導入した新しいjailbreakパラダイムを提案する。 我々のOdysseusはいくつかの先駆的で現実的なMLLM統合システムを脱獄し、最大99%の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2025-12-23T08:53:36Z)
• TZ-LLM: Protecting On-Device Large Language Models with Arm TrustZone [8.538298365840877]
  モバイルデバイスにデプロイされる大規模言語モデル(LLM)は、ユーザのプライバシやネットワーク遅延の低減といったメリットを提供するが、重大なセキュリティリスクをもたらす。 我々は、Arm Trusted Execution Environment (TEE)、TrustZoneを用いて、デバイス上でのLDMを保護するシステム設計を提案する。
  論文  参考訳（メタデータ） (2025-11-17T18:59:20Z)
• DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
  大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。 この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。 本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-13T05:01:09Z)
• FedSEA-LLaMA: A Secure, Efficient and Adaptive Federated Splitting Framework for Large Language Models [13.304846508027588]
  LLaMA2に基づくセキュアで効率的で適応的なフェデレーション分割フレームワークであるFedSEA-LLaMAを紹介する。 我々は、注意マスク圧縮とKVキャッシュの協調を利用して、通信コストを削減し、トレーニングと推論を加速する。 自然言語理解、要約、会話型QAタスクの実験は、FedSEA-LLaMAが集中型LLaMA2に匹敵するパフォーマンスを維持していることを示している。
  論文  参考訳（メタデータ） (2025-05-21T15:58:08Z)
• Safety Guardrails for LLM-Enabled Robots [82.0459036717193]
  従来のロボット安全アプローチは、大規模言語モデル(LLM)の新たな脆弱性に対処しない LLM対応ロボットの安全性を確保するための2段ガードレールアーキテクチャであるRoboGuardを提案する。 RoboGuardは、安全プランのパフォーマンスを損なうことなく、安全でないプランの実行を92%から2.5%以下に削減することを示す。
  論文  参考訳（メタデータ） (2025-03-10T22:01:56Z)
• Can LLMs Patch Security Issues? [1.3299507495084417]
  LLM(Large Language Models)は、コード生成に優れた習熟度を示している。 LLMは人間と弱点を共有している。 我々は、LLMが生成した脆弱性のあるコードを自動的に洗練するフィードバック駆動セキュリティパッチング(FDSP)を提案する。
  論文  参考訳（メタデータ） (2023-11-13T08:54:37Z)
• Jailbreaking Black Box Large Language Models in Twenty Queries [97.29563503097995]
  大規模言語モデル(LLM)は、敵のジェイルブレイクに対して脆弱である。 LLMへのブラックボックスアクセスのみのセマンティックジェイルブレイクを生成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-12T15:38:28Z)
• SyzTrust: State-aware Fuzzing on Trusted OS Designed for IoT Devices [67.65883495888258]
  我々は、リソース制限されたTrusted OSのセキュリティを検証するための、最初の状態認識ファジィフレームワークであるSyzTrustを紹介する。 SyzTrustはハードウェア支援フレームワークを採用し、IoTデバイス上でTrusted OSを直接ファジングできるようにする。 我々は、Samsung、Tsinglink Cloud、Ali Cloudの3つの主要なベンダーからSyzTrust on Trusted OSを評価した。
  論文  参考訳（メタデータ） (2023-09-26T08:11:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。