論文の概要: Privacy-Aware In-Context Learning for Large Language Models

• arxiv url: http://arxiv.org/abs/2509.13625v2
• Date: Mon, 22 Sep 2025 00:06:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 12:27:33.485244
• Title: Privacy-Aware In-Context Learning for Large Language Models
• Title（参考訳）: 大規模言語モデルのためのプライバシーを考慮したインコンテキスト学習
• Authors: Bishnu Bhusal, Manoj Acharya, Ramneet Kaur, Colin Samplawski, Anirban Roy, Adam D. Cobb, Rohit Chadha, Susmit Jha,
• Abstract要約: 大型言語モデル(LLM)は、機密情報の潜在的な暴露によるプライバシー上の懸念を提起する。 プライバシー保証の強い高品質な合成テキストを生成するための,新たなプライベートな予測フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 12.605629953620495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have significantly transformed natural language understanding and generation, but they raise privacy concerns due to potential exposure of sensitive information. Studies have highlighted the risk of information leakage, where adversaries can extract sensitive information embedded in the prompts. In this work, we introduce a novel private prediction framework for generating high-quality synthetic text with strong privacy guarantees. Our approach leverages the Differential Privacy (DP) framework to ensure worst-case theoretical bounds on information leakage without requiring any fine-tuning of the underlying models. The proposed method performs inference on private records and aggregates the resulting per-token output distributions. This enables the generation of longer and coherent synthetic text while maintaining privacy guarantees. Additionally, we propose a simple blending operation that combines private and public inference to further enhance utility. Empirical evaluations demonstrate that our approach outperforms previous state-of-the-art methods on in-context-learning (ICL) tasks, making it a promising direction for privacy-preserving text generation while maintaining high utility.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語の理解と生成を著しく変えてきたが、機密情報の暴露によってプライバシー上の懸念が高まる。 研究は情報漏洩のリスクを強調しており、敵はプロンプトに埋め込まれた機密情報を抽出することができる。 本研究では,プライバシー保証の強い高品質な合成テキストを生成するための,新たなプライベートな予測フレームワークを提案する。 我々のアプローチでは、差分プライバシー(DP)フレームワークを利用して、基盤となるモデルの微調整を必要とせずに、情報漏洩に関する最悪の理論的境界を確保する。 提案手法は、プライベートレコードの推測を行い、その結果のトーケン毎の出力分布を集約する。 これにより、プライバシー保証を維持しつつ、長く一貫性のある合成テキストを生成することができる。 さらに,私的および公共的推論を組み合わせた簡易なブレンディング操作を提案し,実用性をさらに向上させる。 実証評価の結果,本手法は従来のICL(In-context-learning)タスクよりも優れており,高ユーティリティを維持しつつ,プライバシ保護のためのテキスト生成に有望な方向であることがわかった。

関連論文リスト

• The Double-edged Sword of LLM-based Data Reconstruction: Understanding and Mitigating Contextual Vulnerability in Word-level Differential Privacy Text Sanitization [53.51921540246166]
  我々は,言語大モデル (LLM) がDP対応テキストの文脈的脆弱性を活用可能であることを示す。 LLM再建の二重刃剣効果がプライバシーと実用性に与える影響を実験的に明らかにした。 本稿では,データ再構成を後処理のステップとして使用するための推奨事項を提案する。
  論文  参考訳（メタデータ） (2025-08-26T12:22:45Z)
• RL-Finetuned LLMs for Privacy-Preserving Synthetic Rewriting [17.294176570269]
  本稿では,複合報酬関数を用いた大規模言語モデル(LLM)を微調整する強化学習フレームワークを提案する。 プライバシ報酬は、セマンティックキューと、潜伏表現上の最小スパンニングツリー(MST)から派生した構造パターンを組み合わせる。 実験の結果,提案手法はセマンティック品質を劣化させることなく,著者の難読化とプライバシーの指標を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-25T04:38:19Z)
• Token-Level Privacy in Large Language Models [7.4143291213663955]
  本稿では,文脈情報と意味情報を統合するトークンレベルの新しいプライバシ保護機構であるdchi-stencilを紹介する。 意味的ニュアンスと文脈的ニュアンスの両方を取り入れることで、dchi-stencilはプライバシとユーティリティの堅牢なバランスを実現する。 この研究は、現代の高リスクアプリケーションにおけるプライバシ保護NLPの新しい標準を設定するためのdchi-stencilの可能性を強調している。
  論文  参考訳（メタデータ） (2025-03-05T16:27:25Z)
• NAP^2: A Benchmark for Naturalness and Privacy-Preserving Text Rewriting by Learning from Human [56.46355425175232]
  我々は,人間によって使用される2つの共通戦略を用いて,機密テキストの衛生化を提案する。 我々は,クラウドソーシングと大規模言語モデルの利用を通じて,NAP2という最初のコーパスをキュレートする。 匿名化に関する以前の研究と比較すると、人間に触発されたアプローチはより自然な書き直しをもたらす。
  論文  参考訳（メタデータ） (2024-06-06T05:07:44Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Synthetic Text Generation with Differential Privacy: A Simple and Practical Recipe [32.63295550058343]
  テキスト領域におけるシンプルで実用的なレシピは、強力なプライバシー保護を備えた有用な合成テキストを生成するのに有効であることを示す。 提案手法は,非私的テキストと実用性で競合する合成テキストを生成する。
  論文  参考訳（メタデータ） (2022-10-25T21:21:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。