論文の概要: Privacy-Preserving Language Model Inference with Instance Obfuscation
- arxiv url: http://arxiv.org/abs/2402.08227v1
- Date: Tue, 13 Feb 2024 05:36:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 16:31:59.897944
- Title: Privacy-Preserving Language Model Inference with Instance Obfuscation
- Title（参考訳）: インスタンス難読化によるプライバシ保護言語モデル推論
- Authors: Yixiang Yao, Fei Wang, Srivatsan Ravi, Muhao Chen
- Abstract要約: 言語モデル・アズ・ア・サービス(LM)は、開発者や研究者が事前訓練された言語モデルを使用して推論を行うための便利なアクセスを提供する。
入力データとプライベート情報を含む推論結果は、サービスコール中にプレーンテキストとして公開され、プライバシー上の問題が発生する。
本稿では,自然言語理解タスクにおける決定プライバシ問題に対処することに焦点を当てた,インスタンス・オブフルスケート推論(IOI)手法を提案する。
- 参考スコア（独自算出の注目度）: 33.86459812694288
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Language Models as a Service (LMaaS) offers convenient access for developers
and researchers to perform inference using pre-trained language models.
Nonetheless, the input data and the inference results containing private
information are exposed as plaintext during the service call, leading to
privacy issues. Recent studies have started tackling the privacy issue by
transforming input data into privacy-preserving representation from the
user-end with the techniques such as noise addition and content perturbation,
while the exploration of inference result protection, namely decision privacy,
is still a blank page. In order to maintain the black-box manner of LMaaS,
conducting data privacy protection, especially for the decision, is a
challenging task because the process has to be seamless to the models and
accompanied by limited communication and computation overhead. We thus propose
Instance-Obfuscated Inference (IOI) method, which focuses on addressing the
decision privacy issue of natural language understanding tasks in their
complete life-cycle. Besides, we conduct comprehensive experiments to evaluate
the performance as well as the privacy-protection strength of the proposed
method on various benchmarking tasks.
- Abstract（参考訳）: 言語モデル・アズ・ア・サービス(LMaaS)は、開発者や研究者が事前訓練された言語モデルを使用して推論を行うための便利なアクセスを提供する。
それでも、プライベート情報を含む入力データと推論結果は、サービスコール中にプレーンテキストとして公開され、プライバシー上の問題が発生する。
近年の研究では、入力データをノイズ付加やコンテンツ摂動といった手法でユーザエンドからプライバシ保存表現に変換することにより、プライバシの問題に対処し始めている一方、推論結果保護、すなわちプライバシの探索は依然として空白のページである。
LMaaSのブラックボックス方式を維持するためには、特に決定のためにデータプライバシ保護を行うのは、プロセスがモデルにシームレスで、限られた通信と計算オーバーヘッドを伴わなければならないため、難しい作業である。
そこで本研究では,自然言語理解タスクにおける決定的プライバシ問題に対処することを目的としたIOI手法を提案する。
さらに,様々なベンチマークタスクにおいて,提案手法のプライバシー保護強度と性能を評価するための総合的な実験を行った。
関連論文リスト
- Masked Differential Privacy [64.32494202656801]
本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。
提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
論文 参考訳（メタデータ） (2024-10-22T15:22:53Z) - Collection, usage and privacy of mobility data in the enterprise and public administrations [55.2480439325792]
個人のプライバシーを守るためには、匿名化などのセキュリティ対策が必要である。
本研究では,現場における実践の洞察を得るために,専門家によるインタビューを行った。
我々は、一般的には最先端の差分プライバシー基準に準拠しない、使用中のプライバシー強化手法を調査した。
論文 参考訳（メタデータ） (2024-07-04T08:29:27Z) - Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。
ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文 参考訳（メタデータ） (2024-06-20T13:54:32Z) - PrivacyRestore: Privacy-Preserving Inference in Large Language Models via Privacy Removal and Restoration [18.11846784025521]
PrivacyRestoreは、推論中のユーザの入力のプライバシを保護するためのプラグイン・アンド・プレイ方式である。
プライバシストアの有効性を評価するために、医療ドメインと法律ドメインをカバーする3つのデータセットを作成します。
論文 参考訳（メタデータ） (2024-06-03T14:57:39Z) - InferDPT: Privacy-Preserving Inference for Black-box Large Language Model [66.07752875835506]
InferDPTは、ブラックボックスLSMのプライバシ保護推論のための最初の実用的なフレームワークである。
RANTEXTはInferDPTの摂動モジュールに組み込まれた新しい微分プライバシー機構である。
論文 参考訳（メタデータ） (2023-10-18T18:00:11Z) - PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。
我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。
特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文 参考訳（メタデータ） (2023-10-03T22:37:01Z) - PLUE: Language Understanding Evaluation Benchmark for Privacy Policies
in English [77.79102359580702]
プライバシポリシ言語理解評価ベンチマークは,プライバシポリシ言語理解を評価するマルチタスクベンチマークである。
また、プライバシポリシの大規模なコーパスを収集し、プライバシポリシドメイン固有の言語モデル事前トレーニングを可能にします。
ドメイン固有の連続的な事前トレーニングは、すべてのタスクでパフォーマンスを改善することを実証します。
論文 参考訳（メタデータ） (2022-12-20T05:58:32Z) - How to keep text private? A systematic review of deep learning methods
for privacy-preserving natural language processing [0.38073142980732994]
記事は2016年から2020年にかけて発行されたプライバシー保護NLPに関する60以上の方法を体系的にレビューしている。
本稿では,既存の手法を3つのカテゴリに分類する新しい分類法を提案する。
我々は、データトレーサビリティ、オーバーヘッドデータセットサイズ、埋め込みにおける人間のバイアスの頻度に関するプライバシー保護NLPのオープンな課題について論じる。
論文 参考訳（メタデータ） (2022-05-20T11:29:44Z) - Privacy-Adaptive BERT for Natural Language Understanding [20.821155542969947]
BERTを用いたローカルプライバシ設定下でのNLUモデルの有効性向上について検討する。
本稿では,プライバシ対応lmプリトレーニング手法を提案し,民営化テキスト入力におけるモデル性能を大幅に向上できることを実証する。
論文 参考訳（メタデータ） (2021-04-15T15:01:28Z) - Data-driven Regularized Inference Privacy [33.71757542373714]
データを衛生化するためのデータ駆動推論プライバシ保護フレームワークを提案する。
我々は変分法に基づく推論プライバシ・フレームワークを開発する。
プライバシー基準を推定するための実証的手法を提案する。
論文 参考訳（メタデータ） (2020-10-10T08:42:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。