論文の概要: Token-Level Privacy in Large Language Models

• arxiv url: http://arxiv.org/abs/2503.03652v1
• Date: Wed, 05 Mar 2025 16:27:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:52:58.426509
• Title: Token-Level Privacy in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるトークンレベルプライバシ
• Authors: Re'em Harel, Niv Gilboa, Yuval Pinter,
• Abstract要約: 本稿では,文脈情報と意味情報を統合するトークンレベルの新しいプライバシ保護機構であるdchi-stencilを紹介する。 意味的ニュアンスと文脈的ニュアンスの両方を取り入れることで、dchi-stencilはプライバシとユーティリティの堅牢なバランスを実現する。 この研究は、現代の高リスクアプリケーションにおけるプライバシ保護NLPの新しい標準を設定するためのdchi-stencilの可能性を強調している。
• 参考スコア（独自算出の注目度）: 7.4143291213663955
• License:
• Abstract: The use of language models as remote services requires transmitting private information to external providers, raising significant privacy concerns. This process not only risks exposing sensitive data to untrusted service providers but also leaves it vulnerable to interception by eavesdroppers. Existing privacy-preserving methods for natural language processing (NLP) interactions primarily rely on semantic similarity, overlooking the role of contextual information. In this work, we introduce dchi-stencil, a novel token-level privacy-preserving mechanism that integrates contextual and semantic information while ensuring strong privacy guarantees under the dchi differential privacy framework, achieving 2epsilon-dchi-privacy. By incorporating both semantic and contextual nuances, dchi-stencil achieves a robust balance between privacy and utility. We evaluate dchi-stencil using state-of-the-art language models and diverse datasets, achieving comparable and even better trade-off between utility and privacy compared to existing methods. This work highlights the potential of dchi-stencil to set a new standard for privacy-preserving NLP in modern, high-risk applications.
• Abstract（参考訳）: 言語モデルをリモートサービスとして使用するには、外部プロバイダにプライベート情報を送信する必要がある。 このプロセスは、信頼できないサービスプロバイダに機密データを暴露するリスクだけでなく、盗聴者による傍受にも脆弱である。 自然言語処理(NLP)インタラクションのための既存のプライバシ保護手法は、コンテキスト情報の役割を見越して、主に意味的類似性に依存している。 本研究では,dchi差分プライバシフレームワーク下での強力なプライバシ保証を確保しつつ,コンテキスト情報とセマンティック情報を統合する,トークンレベルの新たなプライバシ保護機構であるdchi-stencilを紹介する。 意味的ニュアンスと文脈的ニュアンスの両方を取り入れることで、dchi-stencilはプライバシとユーティリティの堅牢なバランスを実現する。 我々は、最先端の言語モデルと多様なデータセットを使用してdchi-stencilを評価し、既存手法と比較してユーティリティとプライバシのトレードオフを同等に、さらに改善した。 この研究は、現代の高リスクアプリケーションにおけるプライバシ保護NLPの新しい標準を設定するためのdchi-stencilの可能性を強調している。

関連論文リスト

• Inference Privacy: Properties and Mechanisms [8.471466670802817]
  推論プライバシ(IP)は、推論時にユーザのデータに対して厳格なプライバシ保証を提供しながら、モデルと対話することを可能にする。 本稿では,ユーザがカスタマイズ可能な入力摂動と出力摂動という,IPを実現するための2つのメカニズムを提案する。
  論文  参考訳（メタデータ） (2024-11-27T20:47:28Z)
• Activity Recognition on Avatar-Anonymized Datasets with Masked Differential Privacy [64.32494202656801]
  プライバシを保存するコンピュータビジョンは、機械学習と人工知能において重要な問題である。 本稿では,ビデオデータセット中の感性のある被験者を文脈内の合成アバターに置き換える匿名化パイプラインを提案する。 また、匿名化されていないがプライバシーに敏感な背景情報を保護するため、MaskDPを提案する。
  論文  参考訳（メタデータ） (2024-10-22T15:22:53Z)
• PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
  PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。 プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
  論文  参考訳（メタデータ） (2024-08-29T17:58:38Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Privacy-Preserving Language Model Inference with Instance Obfuscation [33.86459812694288]
  言語モデル・アズ・ア・サービス(LM)は、開発者や研究者が事前訓練された言語モデルを使用して推論を行うための便利なアクセスを提供する。 入力データとプライベート情報を含む推論結果は、サービスコール中にプレーンテキストとして公開され、プライバシー上の問題が発生する。 本稿では,自然言語理解タスクにおける決定プライバシ問題に対処することに焦点を当てた,インスタンス・オブフルスケート推論(IOI)手法を提案する。
  論文  参考訳（メタデータ） (2024-02-13T05:36:54Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• PLUE: Language Understanding Evaluation Benchmark for Privacy Policies in English [77.79102359580702]
  プライバシポリシ言語理解評価ベンチマークは,プライバシポリシ言語理解を評価するマルチタスクベンチマークである。 また、プライバシポリシの大規模なコーパスを収集し、プライバシポリシドメイン固有の言語モデル事前トレーニングを可能にします。 ドメイン固有の連続的な事前トレーニングは、すべてのタスクでパフォーマンスを改善することを実証します。
  論文  参考訳（メタデータ） (2022-12-20T05:58:32Z)
• Selective Differential Privacy for Language Modeling [36.64464956102432]
  これまでの研究は、RNNベースの言語モデルを異なるプライバシ保証でトレーニングすることで、この問題に対処しようとしてきた。 我々は、データの機密部分に対して厳密なプライバシー保証を提供するために、新しいプライバシー概念、選択的差分プライバシーを提案する。 言語モデリングとダイアログシステム構築の実験は、提案したプライバシー保護機構がより良いユーティリティを実現することを示す。
  論文  参考訳（メタデータ） (2021-08-30T01:11:10Z)
• On Privacy and Confidentiality of Communications in Organizational Graphs [3.5270468102327004]
  この研究は、企業コンテキストにおける機密性とプライバシの区別方法を示している。 それは、機密性を維持するためのアプローチを定式化し、差分プライバシーの原則を活用することを目的としている。
  論文  参考訳（メタデータ） (2021-05-27T19:45:56Z)
• Privacy-Adaptive BERT for Natural Language Understanding [20.821155542969947]
  BERTを用いたローカルプライバシ設定下でのNLUモデルの有効性向上について検討する。 本稿では,プライバシ対応lmプリトレーニング手法を提案し,民営化テキスト入力におけるモデル性能を大幅に向上できることを実証する。
  論文  参考訳（メタデータ） (2021-04-15T15:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。