論文の概要: Privacy-Preserving Language Model Inference with Instance Obfuscation
- arxiv url: http://arxiv.org/abs/2402.08227v1
- Date: Tue, 13 Feb 2024 05:36:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 16:31:59.897944
- Title: Privacy-Preserving Language Model Inference with Instance Obfuscation
- Title（参考訳）: インスタンス難読化によるプライバシ保護言語モデル推論
- Authors: Yixiang Yao, Fei Wang, Srivatsan Ravi, Muhao Chen
- Abstract要約: 言語モデル・アズ・ア・サービス(LM)は、開発者や研究者が事前訓練された言語モデルを使用して推論を行うための便利なアクセスを提供する。
入力データとプライベート情報を含む推論結果は、サービスコール中にプレーンテキストとして公開され、プライバシー上の問題が発生する。
本稿では,自然言語理解タスクにおける決定プライバシ問題に対処することに焦点を当てた,インスタンス・オブフルスケート推論(IOI)手法を提案する。
- 参考スコア（独自算出の注目度）: 33.86459812694288
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Language Models as a Service (LMaaS) offers convenient access for developers
and researchers to perform inference using pre-trained language models.
Nonetheless, the input data and the inference results containing private
information are exposed as plaintext during the service call, leading to
privacy issues. Recent studies have started tackling the privacy issue by
transforming input data into privacy-preserving representation from the
user-end with the techniques such as noise addition and content perturbation,
while the exploration of inference result protection, namely decision privacy,
is still a blank page. In order to maintain the black-box manner of LMaaS,
conducting data privacy protection, especially for the decision, is a
challenging task because the process has to be seamless to the models and
accompanied by limited communication and computation overhead. We thus propose
Instance-Obfuscated Inference (IOI) method, which focuses on addressing the
decision privacy issue of natural language understanding tasks in their
complete life-cycle. Besides, we conduct comprehensive experiments to evaluate
the performance as well as the privacy-protection strength of the proposed
method on various benchmarking tasks.
- Abstract（参考訳）: 言語モデル・アズ・ア・サービス(LMaaS)は、開発者や研究者が事前訓練された言語モデルを使用して推論を行うための便利なアクセスを提供する。
それでも、プライベート情報を含む入力データと推論結果は、サービスコール中にプレーンテキストとして公開され、プライバシー上の問題が発生する。
近年の研究では、入力データをノイズ付加やコンテンツ摂動といった手法でユーザエンドからプライバシ保存表現に変換することにより、プライバシの問題に対処し始めている一方、推論結果保護、すなわちプライバシの探索は依然として空白のページである。
LMaaSのブラックボックス方式を維持するためには、特に決定のためにデータプライバシ保護を行うのは、プロセスがモデルにシームレスで、限られた通信と計算オーバーヘッドを伴わなければならないため、難しい作業である。
そこで本研究では,自然言語理解タスクにおける決定的プライバシ問題に対処することを目的としたIOI手法を提案する。
さらに,様々なベンチマークタスクにおいて,提案手法のプライバシー保護強度と性能を評価するための総合的な実験を行った。
関連論文リスト
- Privacy in Fine-tuning Large Language Models: Attacks, Defenses, and Future Directions [11.338466798715906]
細調整された大規模言語モデル(LLM)は、様々な領域で最先端のパフォーマンスを達成することができる。
本稿では、微調整LDMに関連するプライバシー問題に関する包括的調査を行う。
メンバーシップ推論、データ抽出、バックドア攻撃など、さまざまなプライバシ攻撃に対する脆弱性を強調します。
論文 参考訳（メタデータ） (2024-12-21T06:41:29Z) - Inference Privacy: Properties and Mechanisms [8.471466670802817]
推論プライバシ(IP)は、推論時にユーザのデータに対して厳格なプライバシ保証を提供しながら、モデルと対話することを可能にする。
本稿では,ユーザがカスタマイズ可能な入力摂動と出力摂動という,IPを実現するための2つのメカニズムを提案する。
論文 参考訳（メタデータ） (2024-11-27T20:47:28Z) - Activity Recognition on Avatar-Anonymized Datasets with Masked Differential Privacy [64.32494202656801]
プライバシを保存するコンピュータビジョンは、機械学習と人工知能において重要な問題である。
本稿では,ビデオデータセット中の感性のある被験者を文脈内の合成アバターに置き換える匿名化パイプラインを提案する。
また、匿名化されていないがプライバシーに敏感な背景情報を保護するため、MaskDPを提案する。
論文 参考訳（メタデータ） (2024-10-22T15:22:53Z) - Collection, usage and privacy of mobility data in the enterprise and public administrations [55.2480439325792]
個人のプライバシーを守るためには、匿名化などのセキュリティ対策が必要である。
本研究では,現場における実践の洞察を得るために,専門家によるインタビューを行った。
我々は、一般的には最先端の差分プライバシー基準に準拠しない、使用中のプライバシー強化手法を調査した。
論文 参考訳（メタデータ） (2024-07-04T08:29:27Z) - Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。
ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文 参考訳（メタデータ） (2024-06-20T13:54:32Z) - PrivacyRestore: Privacy-Preserving Inference in Large Language Models via Privacy Removal and Restoration [18.11846784025521]
PrivacyRestoreは、推論中のユーザの入力のプライバシを保護するためのプラグイン・アンド・プレイ方式である。
プライバシストアの有効性を評価するために、医療ドメインと法律ドメインをカバーする3つのデータセットを作成します。
論文 参考訳（メタデータ） (2024-06-03T14:57:39Z) - InferDPT: Privacy-Preserving Inference for Black-box Large Language Model [66.07752875835506]
InferDPTは、ブラックボックスLSMのプライバシ保護推論のための最初の実用的なフレームワークである。
RANTEXTはInferDPTの摂動モジュールに組み込まれた新しい微分プライバシー機構である。
論文 参考訳（メタデータ） (2023-10-18T18:00:11Z) - PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。
我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。
特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文 参考訳（メタデータ） (2023-10-03T22:37:01Z) - PLUE: Language Understanding Evaluation Benchmark for Privacy Policies
in English [77.79102359580702]
プライバシポリシ言語理解評価ベンチマークは,プライバシポリシ言語理解を評価するマルチタスクベンチマークである。
また、プライバシポリシの大規模なコーパスを収集し、プライバシポリシドメイン固有の言語モデル事前トレーニングを可能にします。
ドメイン固有の連続的な事前トレーニングは、すべてのタスクでパフォーマンスを改善することを実証します。
論文 参考訳（メタデータ） (2022-12-20T05:58:32Z) - Privacy-Adaptive BERT for Natural Language Understanding [20.821155542969947]
BERTを用いたローカルプライバシ設定下でのNLUモデルの有効性向上について検討する。
本稿では,プライバシ対応lmプリトレーニング手法を提案し,民営化テキスト入力におけるモデル性能を大幅に向上できることを実証する。
論文 参考訳（メタデータ） (2021-04-15T15:01:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。