論文の概要: CryptoTensors: A Light-Weight Large Language Model File Format for Highly-Secure Model Distribution
- arxiv url: http://arxiv.org/abs/2512.04580v2
- Date: Mon, 08 Dec 2025 08:00:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-09 15:54:52.357729
- Title: CryptoTensors: A Light-Weight Large Language Model File Format for Highly-Secure Model Distribution
- Title（参考訳）: CryptoTensors: セキュアなモデル分散のための軽量大言語モデルファイルフォーマット
- Authors: Huifeng Zhu, Shijie Li, Qinfeng Li, Yier Jin,
- Abstract要約: 機密LLM配信のためのセキュアでフォーマット互換なファイル構造であるCryptoTensorsを導入する。
広く採用されているSafetensorsフォーマットの拡張として開発されたCryptoTensorsには、テンソルレベルの暗号化と組み込みアクセス制御ポリシーが組み込まれている。
我々の結果は、CryptoTensorsを、現実世界および広範囲のデプロイメントにおいてLLM重みを保護するための軽量で効率的で、開発者フレンドリなソリューションとして強調している。
- 参考スコア（独自算出の注目度）: 16.430668737524346
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To enhance the performance of large language models (LLMs) in various domain-specific applications, sensitive data such as healthcare, law, and finance are being used to privately customize or fine-tune these models. Such privately adapted LLMs are regarded as either personal privacy assets or corporate intellectual property. Therefore, protecting model weights and maintaining strict confidentiality during deployment and distribution have become critically important. However, existing model formats and deployment frameworks provide little to no built-in support for confidentiality, access control, or secure integration with trusted hardware. Current methods for securing model deployment either rely on computationally expensive cryptographic techniques or tightly controlled private infrastructure. Although these approaches can be effective in specific scenarios, they are difficult and costly for widespread deployment. In this paper, we introduce CryptoTensors, a secure and format-compatible file structure for confidential LLM distribution. Built as an extension to the widely adopted Safetensors format, CryptoTensors incorporates tensor-level encryption and embedded access control policies, while preserving critical features such as lazy loading and partial deserialization. It enables transparent decryption and automated key management, supporting flexible licensing and secure model execution with minimal overhead. We implement a proof-of-concept library, benchmark its performance across serialization and runtime scenarios, and validate its compatibility with existing inference frameworks, including Hugging Face Transformers and vLLM. Our results highlight CryptoTensors as a light-weight, efficient, and developer-friendly solution for safeguarding LLM weights in real-world and widespread deployments.
- Abstract（参考訳）: 様々なドメイン固有のアプリケーションにおける大規模言語モデル(LLM)の性能を高めるために、医療、法律、財務などの機密データを使用して、これらのモデルをプライベートにカスタマイズまたは微調整している。
このような私的適応 LLM は個人のプライバシー資産または企業知的財産と見なされている。
そのため、モデルウェイトを保護し、デプロイメントや配布において厳密な機密性を維持することが重要になっている。
しかしながら、既存のモデルフォーマットとデプロイメントフレームワークは、機密性、アクセス制御、信頼性のあるハードウェアとのセキュアな統合を、ほとんど、あるいはまったくサポートしていない。
モデルデプロイメントを確保するための現在の方法は、計算に高価な暗号技術か、厳格に制御されたプライベートインフラストラクチャに依存している。
これらのアプローチは特定のシナリオで有効であるが、広くデプロイするには困難でコストがかかる。
本稿では,機密LLM配信のためのセキュアでフォーマット互換なファイル構造であるCryptoTensorsを紹介する。
広く採用されているSafetensorsフォーマットの拡張として開発されたCryptoTensorsは、テンソルレベルの暗号化と組み込みアクセス制御ポリシーを取り入れ、遅延ローディングや部分デシリアライズといった重要な機能を保存する。
透過的な復号化と自動キー管理を可能にし、柔軟性のあるライセンシングと、最小限のオーバーヘッドでセキュアなモデル実行をサポートする。
概念実証ライブラリを実装し、シリアライゼーションと実行シナリオ間でパフォーマンスをベンチマークし、Hugging Face TransformerやvLLMといった既存の推論フレームワークとの互換性を検証する。
我々の結果は、CryptoTensorsを、現実世界および広範囲のデプロイメントにおいてLLM重みを保護するための軽量で効率的で、開発者フレンドリなソリューションとして強調している。
関連論文リスト
- Patching LLM Like Software: A Lightweight Method for Improving Safety Policy in Large Language Models [63.54707418559388]
ソフトウェアバージョンのような大型言語モデル(LLM)に対するパッチを提案する。
提案手法は,既存のモデルにコンパクトで学習可能なプレフィックスを前もって,迅速な修復を可能にする。
論文 参考訳（メタデータ） (2025-11-11T17:25:44Z) - Reimagining Safety Alignment with An Image [49.33281424100804]
大きな言語モデル(LLM)は多様なアプリケーションで優れていますが、Jailbreak攻撃下で有害なコンテンツを生成し、良質なクエリを過剰に拒否する、という2つの課題に直面しています。
我々は,過度な拒絶を低減しつつ,セキュリティを向上させる最適化駆動型ビジュアルプロンプトフレームワークであるMagic Imageを提案する。
論文 参考訳（メタデータ） (2025-11-01T11:27:07Z) - Design and Optimization of Cloud Native Homomorphic Encryption Workflows for Privacy-Preserving ML Inference [0.0]
ホモモルフィック暗号化(HE)は、暗号化されたデータに対する暗号計算を可能にする魅力的な技術として登場した。
大規模クラウドネイティブパイプラインにおけるHEの統合は、高い計算オーバーヘッド、オーケストレーションの複雑さ、モデル互換性の問題によって制限されている。
本稿では、プライバシML推論をサポートするクラウドネイティブな同型暗号化の設計と最適化のための体系的なフレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-28T15:13:32Z) - OpenGuardrails: A Configurable, Unified, and Scalable Guardrails Platform for Large Language Models [3.3252656373741547]
OpenGuardrailsは、大規模なモデルベースの安全性検出、操作防御、デプロイ可能なガードレールインフラストラクチャを統合する、最初の完全なオープンソースプラットフォームです。
OpenGuardrailsは,(1)有害なテキスト生成や明示的なテキスト生成などのコンテンツ安全違反,(2)迅速なインジェクション,ジェイルブレイク,コード・インタプリタの乱用を含むモデル操作攻撃,(3)機密情報や個人情報を含むデータ漏洩,という3つの主要なリスクに対して保護されている。
論文 参考訳（メタデータ） (2025-10-22T02:02:27Z) - Speculative Safety-Aware Decoding [46.78651034593231]
推論を高速化しながら, LLMに所望の安全性特性を付与する軽量な復号時間方式であるSpeculative Safety-Aware Decoding(SSD)を導入する。
SSDはデコード中の投機的サンプリングを統合し、小型モデルと複合モデルとのマッチング比を利用してジェイルブレイクのリスクを定量化する。
実験の結果,SSDは大きなモデルに所望の安全性特性を持たせることができた。
論文 参考訳（メタデータ） (2025-08-25T07:30:10Z) - FedShield-LLM: A Secure and Scalable Federated Fine-Tuned Large Language Model [0.48342038441006796]
Federated Learning (FL)は、LLM(Large Language Models)のトレーニングと微調整のための分散フレームワークを提供する。
FLはプライバシとセキュリティの懸念に対処し、LLMの相当な計算要求に関連する課題をナビゲートする。
ローランド適応 (LoRA) パラメータに対して, 完全同型暗号化 (FHE) を用いたプルーニングを用いた新しいFedShield-LLMを提案する。
論文 参考訳（メタデータ） (2025-06-06T00:05:05Z) - PWC-MoE: Privacy-Aware Wireless Collaborative Mixture of Experts [59.5243730853157]
クラウドサーバにホストされる大規模言語モデル(LLM)は、ローカルデバイス上の計算とストレージの負担を軽減するが、プライバシの懸念を高める。
小規模言語モデル(SLM)は、ローカルで実行されるためプライバシーが向上するが、複雑なタスクではパフォーマンスが制限される。
帯域幅制約下での計算コスト,性能,プライバシ保護のバランスをとるために,プライバシを意識したPWC-MoE(PWC-MoE)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-13T16:27:07Z) - Encrypted Large Model Inference: The Equivariant Encryption Paradigm [18.547945807599543]
Equivariant Encryption(EE)は,暗号化されたデータに対して,性能上のオーバーヘッドがゼロに近いセキュアな"盲目"推論を可能にするように設計された,新しいパラダイムである。
計算グラフ全体を暗号化する完全同型アプローチとは異なり、EEはニューラルネットワーク層内の重要な内部表現を選択的に難読化する。
EEは高い忠実性とスループットを維持しており、ロバストなデータの機密性と、現代的な大規模モデル推論の厳密な効率要件の間のギャップを効果的に埋めています。
論文 参考訳（メタデータ） (2025-02-03T03:05:20Z) - A Middle Path for On-Premises LLM Deployment: Preserving Privacy Without Sacrificing Model Confidentiality [20.646221081945523]
プライバシに敏感なユーザは、自身のインフラストラクチャ(オンプレミス)に大規模な言語モデル(LLM)をデプロイして、プライベートデータの保護とカスタマイズを可能にする必要がある。
小型モデルの従来の研究は、モデルの機密性とカスタマイズのバランスをとるために、ハードウェアがセキュアなデバイス内の出力層のみを確保することを模索してきた。
SOLIDはセキュアな環境下でいくつかのボトム層を確保する新しいデプロイメントフレームワークであり、トレードオフを最適化するための効率的なメトリクスを導入します。
論文 参考訳（メタデータ） (2024-10-15T02:00:36Z) - Fine-Tuning and Deploying Large Language Models Over Edges: Issues and Approaches [64.42735183056062]
大規模言語モデル(LLM)は、専門的な深層モデルから汎用的な基礎モデルへと進化してきた。
LLMは、ローカルデータセットの微調整と、ネットワークエッジ上のデプロイメントのためのかなりのメモリを必要とする。
LLMは、画像、オーディオ、ビデオ、マルチモーダルコンテンツを作成するために、テキスト生成を超えて拡張されている。
LLMの持続的成長を支援するため,モデル微調整およびモデル圧縮技術が開発されている。
論文 参考訳（メタデータ） (2024-08-20T09:42:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。