論文の概要: P2Skill: Privacy Preserving Skill Distillation for Cloud-Local LLM Inference Systems

• arxiv url: http://arxiv.org/abs/2608.14094v1
• Date: Fri, 14 Aug 2026 08:56:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.331804
• Title: P2Skill: Privacy Preserving Skill Distillation for Cloud-Local LLM Inference Systems
• Title（参考訳）: P2Skill:クラウドローカルLLM推論システムのためのプライバシ保護スキル蒸留
• Abstract要約: クラウドバウンドリクエストは、外部データの漏洩を防ぐために、個人識別可能な情報(PII)を除外しなければならない。 既存のプライバシー保護手法は、迅速な摂動、エンティティマスキング、モデル微調整に依存している。 本稿では,P2Skillを提案する。P2Skillは,局所小言語モデル(SLM)が自律的に分解,PII対応ルーティング,パラフレージング,再構築を行う,プロンプトベースのスキル蒸留手法である。
• 参考スコア（独自算出の注目度）: 0.5252190504926357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cloud-local LLM inference systems have the potential to use the reasoning capability of large cloud models while protecting sensitive user data on personal devices. Cloud-bound requests must exclude personally identifiable information (PII) to prevent external data leakage. Existing privacy-preserving methods rely on prompt perturbation, entity masking, or model fine-tuning, but these approaches may distort contextual semantics or require additional training. This paper proposes P2Skill, a prompt-based skill distillation method in which a local small language model (SLM) autonomously performs decomposition, PII-aware routing, paraphrasing, and reconstruction by following the skill prompts. Skills are iteratively refined from execution failures by a cloud LLM, enabling the local SLM to generalize beyond memorized PII patterns, and therefore P2Skill requires no privacy-specific fine-tuning or learned auxiliary detectors. Evaluation on a four-domain benchmark shows that P2Skill achieves $1.69\times$ and $3.66\times$ higher privacy-preserved inference quality than previous baselines.
• Abstract（参考訳）: クラウドローカルなLLM推論システムは、パーソナルデバイス上の機密性の高いユーザデータを保護しながら、大きなクラウドモデルの推論能力を使用する可能性がある。 クラウドバウンドリクエストは、外部データの漏洩を防ぐために、個人識別可能な情報(PII)を除外しなければならない。 既存のプライバシ保護手法は、迅速な摂動、エンティティマスキング、モデル微調整に頼っているが、これらのアプローチは文脈意味論を歪めたり、追加のトレーニングを必要とすることがある。 本稿では,P2Skillを提案する。P2Skillは,局所小言語モデル(SLM)が自律的に分解,PII対応ルーティング,パラフレージング,再構築を,スキルプロンプトに従うことで行う,プロンプトベースのスキル蒸留手法である。 技術はクラウド LLM による実行障害から反復的に洗練され、ローカル SLM は記憶された PII パターンを超えて一般化できるため、P2Skill はプライバシ固有の微調整や学習補助検出器を必要としない。 4ドメインのベンチマークによる評価によると、P2Skillは1.69\times$と3.66\times$のプライバシ保存推論品質を以前のベースラインよりも高く達成している。

関連論文リスト

• Stop Tracking Me! Proactive Defense Against Attribute Inference Attack in LLMs [61.15237978606501]
  大規模言語モデルは、ユーザ生成テキストからプライベートなユーザー属性を推測することができる。 既存の匿名化ベースの防御は粗く、プライバシーを優先する要素を匿名化する際に単語レベルの精度が欠如している。 細粒度匿名化(TRACE)と推論防止最適化(RPS)を組み合わせた統合防衛フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-12T03:37:50Z)
• Unintended Memorization of Sensitive Information in Fine-Tuned Language Models [24.228889351240838]
  センシティブデータセット上の微調整大言語モデル(LLM)は、意図しない暗記と個人識別情報漏洩の重大なリスクをもたらす(PII) 我々は、意図しないPII記憶の定量化と、言語、PII周波数、タスクタイプ、モデルサイズなどの要因が記憶行動にどのように影響するかを研究するために、制御された抽出プローブを設計した。
  論文  参考訳（メタデータ） (2026-01-24T15:08:45Z)
• Data-Free Privacy-Preserving for LLMs via Model Inversion and Selective Unlearning [27.452191507918148]
  大規模言語モデル(LLM)は、強力な能力を示すが、トレーニングデータから機密性のある個人識別情報(PII)を記憶するリスクがある。 データ自由選択学習(DFSU: Data-free Selective Unlearning)は、LLMから機密性PIIを学習データを必要とせずに除去する新しいプライバシー保護フレームワークである。 提案手法は,まず擬似PIIを言語モデル逆変換により合成し,次にこれらの合成サンプルに対してトークンレベルのプライバシマスクを構築し,最後にトークンレベルの選択的アンラーニングを実行する。
  論文  参考訳（メタデータ） (2026-01-22T02:43:12Z)
• PRISM: Privacy-Aware Routing for Adaptive Cloud-Edge LLM Inference via Semantic Sketch Collaboration [8.776463501718737]
  プライバシと推論品質を動的にバランスさせるコンテキスト認識フレームワークを提案する。 PRISMは,(1)エッジデバイスがエンティティレベルの感度をプロファイルし,(2)エッジ上のソフトゲーティングモジュールが実行モード - クラウド,エッジ,あるいはコラボレーションを選択し,(3)協調経路に対して,(3)エッジがエンティティリスクに基づいて適応的な2層局所微分プライバシーを適用し,(4)クラウドLLMが乱れたプロンプトからセマンティックスケッチを生成する。
  論文  参考訳（メタデータ） (2025-11-27T22:32:33Z)
• The Double-edged Sword of LLM-based Data Reconstruction: Understanding and Mitigating Contextual Vulnerability in Word-level Differential Privacy Text Sanitization [53.51921540246166]
  我々は,言語大モデル (LLM) がDP対応テキストの文脈的脆弱性を活用可能であることを示す。 LLM再建の二重刃剣効果がプライバシーと実用性に与える影響を実験的に明らかにした。 本稿では,データ再構成を後処理のステップとして使用するための推奨事項を提案する。
  論文  参考訳（メタデータ） (2025-08-26T12:22:45Z)
• DP-Fusion: Token-Level Differentially Private Inference for Large Language Models [51.71591819896191]
  大規模言語モデル(LLM)は、推論時にプライバシを保存しない。 DP-Fusion は LLM の出力にコンテキスト内のトークンの集合が持つ影響を証明的に束縛する。 提案手法は, 理論的および実証的プライバシを大幅に改善した, 証明可能な民営化文書を作成する。
  論文  参考訳（メタデータ） (2025-07-06T20:49:39Z)
• PrivacyScalpel: Enhancing LLM Privacy via Interpretable Feature Intervention with Sparse Autoencoders [8.483679748399037]
  大規模言語モデル(LLM)は自然言語処理において顕著な能力を示したが、個人識別情報(PII)を記憶・漏洩することによりプライバシーリスクを生じさせる。 差分プライバシーやニューロンレベルの介入のような既存の緩和戦略は、しばしばモデルユーティリティを劣化させたり、リークを効果的に防いだりしない。 性能を維持しながらPIIリークを識別・緩和するために解釈可能性技術を活用する,新たなプライバシ保護フレームワークであるPrivacyScalpelを紹介する。
  論文  参考訳（メタデータ） (2025-03-14T09:31:01Z)
• ConfusionPrompt: Practical Private Inference for Online Large Language Models [3.8134804426693094]
  最先端の大規模言語モデル(LLM)は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーに詳細なプロンプトを送信する必要がある。 我々は,従来のプロンプトを小さなサブプロンプトに分解することで,ユーザのプライバシを保護する,プライベートLLM推論のための新しいフレームワークであるConfusionPromptを紹介する。 コンフュージョンプロンプトは,オープンソースモデルと摂動に基づく手法を用いて,局所的推論手法よりもはるかに高い実用性を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-30T01:26:42Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Privacy Side Channels in Machine Learning Systems [87.53240071195168]
  プライバシサイドチャネルは、システムレベルのコンポーネントを利用してプライベート情報を抽出する攻撃である。 例えば、差分プライベートなトレーニングを適用する前にトレーニングデータを重複させることで、保証可能なプライバシ保証を完全に無効にするサイドチャネルが生成されることを示す。 さらに,学習データセットに含まれる秘密鍵を抽出するために,言語モデルを学習データ再生からブロックするシステムを利用することを示す。
  論文  参考訳（メタデータ） (2023-09-11T16:49:05Z)
• Analyzing Leakage of Personally Identifiable Information in Language Models [13.467340359030855]
  言語モデル (LM) は, 文レベルのメンバシップ推論と再構築攻撃を通じて, トレーニングデータに関する情報を漏らすことが示されている。 スクレイビング技術は減少するが、PII漏れのリスクを防止しない。 ユーザーレベルのプライバシーを保証し、PIIの開示を防止するために設計された、差分プライバシーのようなアルゴリズムによる防御の程度は不明確である。
  論文  参考訳（メタデータ） (2023-02-01T16:04:48Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。