論文の概要: Towards Privacy-Preserving Large Language Model: Text-free Inference Through Alignment and Adaptation

• arxiv url: http://arxiv.org/abs/2604.06831v1
• Date: Wed, 08 Apr 2026 08:49:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.435784
• Title: Towards Privacy-Preserving Large Language Model: Text-free Inference Through Alignment and Adaptation
• Title（参考訳）: プライバシ保護のための大規模言語モデル:アライメントと適応によるテキストフリー推論
• Authors: Jeongho Yoon, Chanhee Park, Yongchan Chun, Hyeonseok Moon, Heuiseok Lim,
• Abstract要約: 我々は、生のプロンプトテキストの送信を不要にする新しいトレーニングパイプラインであるPPFT(Philipacy-Preserving Fine-Tuning)を導入する。 まず、サーバ側プロジェクションモジュールとLCMを併用してクライアント側エンコーダをトレーニングし、サーバが生テキストの代わりにkプールされたプロンプト埋め込みを条件にすることができるようにします。 ドメイン固有および一般的なベンチマークに関する大規模な実験は、PPFTがプライバシとユーティリティの顕著なバランスを達成していることを示している。
• 参考スコア（独自算出の注目度）: 22.16117894083848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current LLM-based services typically require users to submit raw text regardless of its sensitivity. While intuitive, such practice introduces substantial privacy risks, as unauthorized access may expose personal, medical, or legal information. Although prior defenses strived to mitigate these risks, they often incur substantial computational overhead and degrade model performance. To overcome this privacy-efficiency trade-off, we introduce Privacy-Preserving Fine-Tuning (PPFT), a novel training pipeline that eliminates the need for transmitting raw prompt text while maintaining a favorable balance between privacy preservation and model utility for both clients and service providers. Our approach operates in two stages: first, we train a client-side encoder together with a server-side projection module and LLM, enabling the server to condition on k-pooled prompt embeddings instead of raw text; second, we fine-tune the projection module and LLM on private, domain-specific data using noise-injected embeddings, allowing effective adaptation without exposing plain text prompts and requiring access to the decoder's internal parameters. Extensive experiments on domain-specific and general benchmarks demonstrate that PPFT achieves a striking balance between privacy and utility, maintaining competitive performance with minimal degradation compared to noise-free upper bounds.
• Abstract（参考訳）: 現在のLLMベースのサービスでは、ユーザがその感度に関わらず、生のテキストを送信する必要がある。 直感的ではあるが、このような行為は、個人、医療、法的な情報を不正アクセスすることで、かなりのプライバシーリスクをもたらす。 以前の防衛はこれらのリスクを軽減しようとしたが、しばしばかなりの計算オーバーヘッドを発生させ、モデルの性能を低下させた。 このプライバシー効率のトレードオフを克服するために、プライバシー保護ファインタニング(PPFT)を導入した。これは、クライアントとサービスプロバイダの両方のプライバシ保護とモデルユーティリティの良好なバランスを維持しながら、生のプロンプトテキストの送信を不要にする、新たなトレーニングパイプラインである。 まず、クライアント側エンコーダをサーバ側プロジェクションモジュールとLLMと一緒にトレーニングし、サーバが生のテキストの代わりにkプールされたプロジェクション埋め込みを条件付けできるようにし、次に、ノイズ注入埋め込みを使用してプライベートなドメイン固有のデータにプロジェクションモジュールとLLMを微調整し、プレーンテキストプロンプトを公開せず、デコーダの内部パラメータへのアクセスを必要とせずに効果的に適応できるようにする。 ドメイン固有および一般的なベンチマークに関する大規模な実験は、PPFTがプライバシーと実用性の間の顕著なバランスを達成し、ノイズのない上限よりも最小限の劣化で競争性能を維持することを実証している。

関連論文リスト

• Anonymous-by-Construction: An LLM-Driven Framework for Privacy-Preserving Text [0.42821598129654453]
  テキストを匿名化するLLM駆動置換パイプラインをオンプレミスで開発する。 プライバシー、セマンティックユーティリティ、およびプライバシー下でのトレーサビリティを測定します。 提案手法は,最先端のプライバシ,トピックドリフトの最小化,実効性の向上,トレーニング可能性の低下を実現する。
  論文  参考訳（メタデータ） (2026-03-17T23:46:15Z)
• Differentially Private and Communication Efficient Large Language Model Split Inference via Stochastic Quantization and Soft Prompt [33.701746954914135]
  大規模言語モデル (LLM) は目覚ましい性能を達成し、かなりの研究関心を集めている。 既存のアプローチでは、送信前にトークンの埋め込みを難読化し、ローカルモデルを使ってデノナイズする方法が提案されている。 textbfDifferentially private and communication textbfEfficient textbfLLM split inference。
  論文  参考訳（メタデータ） (2026-02-12T03:13:16Z)
• NeuroFilter: Privacy Guardrails for Conversational LLM Agents [50.75206727081996]
  本研究は,エージェント型大規模言語モデル(LLM)のプライバシを強制する際の計算上の課題に対処する。 NeuroFilterは、標準違反をモデルのアクティベーション空間における単純な方向にマッピングすることで、コンテキスト整合性を運用するガードレールフレームワークである。 7Bから70Bパラメータのモデルをカバーする15万以上のインタラクションに対する包括的な評価は、NeuroFilterの強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-01-21T05:16:50Z)
• PRISM: Privacy-Aware Routing for Adaptive Cloud-Edge LLM Inference via Semantic Sketch Collaboration [8.776463501718737]
  プライバシと推論品質を動的にバランスさせるコンテキスト認識フレームワークを提案する。 PRISMは,(1)エッジデバイスがエンティティレベルの感度をプロファイルし,(2)エッジ上のソフトゲーティングモジュールが実行モード - クラウド,エッジ,あるいはコラボレーションを選択し,(3)協調経路に対して,(3)エッジがエンティティリスクに基づいて適応的な2層局所微分プライバシーを適用し,(4)クラウドLLMが乱れたプロンプトからセマンティックスケッチを生成する。
  論文  参考訳（メタデータ） (2025-11-27T22:32:33Z)
• The Double-edged Sword of LLM-based Data Reconstruction: Understanding and Mitigating Contextual Vulnerability in Word-level Differential Privacy Text Sanitization [53.51921540246166]
  我々は,言語大モデル (LLM) がDP対応テキストの文脈的脆弱性を活用可能であることを示す。 LLM再建の二重刃剣効果がプライバシーと実用性に与える影響を実験的に明らかにした。 本稿では,データ再構成を後処理のステップとして使用するための推奨事項を提案する。
  論文  参考訳（メタデータ） (2025-08-26T12:22:45Z)
• T2UE: Generating Unlearnable Examples from Text Descriptions [60.111026156038264]
  Unlearnable Examples (UEs) は、無許可のモデルトレーニングに対する有望な対策として登場した。 textbfText-to-Unlearnable Example (T2UE)は,テキスト記述のみを用いてUEを生成する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-08-05T05:10:14Z)
• PWC-MoE: Privacy-Aware Wireless Collaborative Mixture of Experts [59.5243730853157]
  クラウドサーバにホストされる大規模言語モデル(LLM)は、ローカルデバイス上の計算とストレージの負担を軽減するが、プライバシの懸念を高める。 小規模言語モデル(SLM)は、ローカルで実行されるためプライバシーが向上するが、複雑なタスクではパフォーマンスが制限される。 帯域幅制約下での計算コスト,性能,プライバシ保護のバランスをとるために,プライバシを意識したPWC-MoE(PWC-MoE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-13T16:27:07Z)
• Communication-Efficient and Privacy-Adaptable Mechanism for Federated Learning [54.20871516148981]
  通信効率・プライバシー適応メカニズム(CEPAM)について紹介する。 CEPAMは通信効率とプライバシー保護を同時に達成する。 我々は、CEPAMのプライバシー保証を理論的に分析し、CEPAMのユーザプライバシと正確性の間のトレードオフを調査する。
  論文  参考訳（メタデータ） (2025-01-21T11:16:05Z)
• Split-and-Denoise: Protect large language model inference with local differential privacy [2.572566198588905]
  Split-N-Denoise (SnD) はプライベートな推論フレームワークであり、最小の計算コストでクライアント側でトークン埋め込み層を実行するためにモデルを分割する。 各種LLMアーキテクチャおよび下流タスク間のプライバシ・ユーティリティ・トレードオフを最適化する上で,SnDの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-13T14:17:33Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。