論文の概要: Public Data Assisted Differentially Private In-Context Learning

• arxiv url: http://arxiv.org/abs/2509.10932v1
• Date: Sat, 13 Sep 2025 18:11:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:22.846101
• Title: Public Data Assisted Differentially Private In-Context Learning
• Title（参考訳）: 個人差分型インコンテキスト学習を支援する公開データ
• Authors: Seongho Joo, Hyukhun Koh, Kyomin Jung,
• Abstract要約: In-context Learning (ICL) in Large Language Models (LLMs) は、微調整を必要とせず、様々なタスクにおいて顕著な性能を示した。 最近の研究は、ICLのプロンプトを通じて、プライベートデータ漏洩のリスクを強調している。 プライバシ保護とモデルユーティリティを効果的にバランスさせる,プライベートなコンテキスト内学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 19.92751862281067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) in Large Language Models (LLMs) has shown remarkable performance across various tasks without requiring fine-tuning. However, recent studies have highlighted the risk of private data leakage through the prompt in ICL, especially when LLMs are exposed to malicious attacks. While differential privacy (DP) provides strong privacy guarantees, it often significantly reduces the utility of in-context learning (ICL). To address this challenge, we incorporate task-related public data into the ICL framework while maintaining the DP guarantee. Based on this approach, we propose a private in-context learning algorithm that effectively balances privacy protection and model utility. Through experiments, we demonstrate that our approach significantly improves the utility of private ICL with the assistance of public data. Additionally, we show that our method is robust against membership inference attacks, demonstrating empirical privacy protection.
• Abstract（参考訳）: In-context Learning (ICL) in Large Language Models (LLMs) は、微調整を必要とせず、様々なタスクにおいて顕著な性能を示した。 しかし、最近の研究では、特にLSMが悪意のある攻撃にさらされている場合、ICLのプロンプトを通じてプライベートデータ漏洩のリスクを強調している。 差分プライバシー(DP)は強力なプライバシー保証を提供するが、コンテキスト内学習(ICL)の有用性は著しく低下することが多い。 この課題に対処するため,DP保証を維持しつつ,タスク関連公開データをICLフレームワークに組み込む。 このアプローチに基づいて,プライバシ保護とモデルユーティリティを効果的にバランスさせる,プライベートなコンテキスト内学習アルゴリズムを提案する。 実験により,提案手法は公開データの活用により,プライベートICLの有用性を著しく向上させることを示した。 さらに,本手法は,経験的プライバシ保護を実証し,メンバシップ推論攻撃に対して堅牢であることを示す。

関連論文リスト

• Urania: Differentially Private Insights into AI Use [104.7449031243196]
  $Urania$は、クラスタリング、パーティション選択、ヒストグラムベースの要約といったDPツールを活用することによって、エンドツーエンドのプライバシ保護を提供する。 結果は、厳密なユーザのプライバシを維持しながら、意味のある会話の洞察を抽出するフレームワークの能力を示している。
  論文  参考訳（メタデータ） (2025-06-05T07:00:31Z)
• Privacy in Fine-tuning Large Language Models: Attacks, Defenses, and Future Directions [11.338466798715906]
  細調整された大規模言語モデル(LLM)は、様々な領域で最先端のパフォーマンスを達成することができる。 本稿では、微調整LDMに関連するプライバシー問題に関する包括的調査を行う。 メンバーシップ推論、データ抽出、バックドア攻撃など、さまざまなプライバシ攻撃に対する脆弱性を強調します。
  論文  参考訳（メタデータ） (2024-12-21T06:41:29Z)
• Differentially Private Deep Model-Based Reinforcement Learning [47.651861502104715]
  形式的な差分プライバシー保証を備えたモデルベースRLアルゴリズムであるPriMORLを紹介する。 PriMORLはオフラインデータから環境の軌道レベルのDPモデルのアンサンブルを学習する。
  論文  参考訳（メタデータ） (2024-02-08T10:05:11Z)
• Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework [6.828884629694705]
  本稿では,LLMのプライバシ生成モデルであるPrivChatGPTという概念モデルを提案する。 PrivChatGPTは、データキュレーション/前処理中にユーザのプライバシを保護し、プライベートコンテキストの保存と大規模データのプライベートトレーニングプロセスという2つの主要コンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-10-19T06:55:13Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Privacy-Preserving In-Context Learning with Differentially Private Few-Shot Generation [37.55812121348268]
  プライベートデータセット上の大きな言語モデル(LLM)を備えたインコンテキスト学習(ICL)は、プライバシリスクを引き起こす。 本稿では,形式的な差分プライバシー保証付きプライベートデータセットから合成数発のデモを生成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-21T03:59:00Z)
• Privacy-Preserving In-Context Learning for Large Language Models [36.13851291571231]
  In-context Learning (ICL) はLarge Language Models (LLM) の重要な機能である LLMの応答は、コンテキスト内の例に含まれた機密性の高い個人情報を漏洩させる可能性がある。 In-context Learning (DP-ICL) はICLタスクを民営化する一般的なパラダイムである。
  論文  参考訳（メタデータ） (2023-05-02T17:52:58Z)
• Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
  エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。 まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。 そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-18T20:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。