論文の概要: Privacy-Preserving In-Context Learning for Large Language Models

• arxiv url: http://arxiv.org/abs/2305.01639v2
• Date: Sat, 30 Sep 2023 12:33:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-03 16:45:37.759616
• Title: Privacy-Preserving In-Context Learning for Large Language Models
• Title（参考訳）: 大規模言語モデルのためのプライバシー保護インコンテキスト学習
• Authors: Tong Wu, Ashwinee Panda, Jiachen T. Wang, Prateek Mittal
• Abstract要約: In-context Learning (ICL) はLarge Language Models (LLM) の重要な機能である LLMの応答は、コンテキスト内の例に含まれた機密性の高い個人情報を漏洩させる可能性がある。 In-context Learning (DP-ICL) はICLタスクを民営化する一般的なパラダイムである。
• 参考スコア（独自算出の注目度）: 36.13851291571231
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) is an important capability of Large Language Models (LLMs), enabling these models to dynamically adapt based on specific, in-context exemplars, thereby improving accuracy and relevance. However, LLM's responses may leak the sensitive private information contained in in-context exemplars. To address this challenge, we propose Differentially Private In-context Learning (DP-ICL), a general paradigm for privatizing ICL tasks. The key idea for DP-ICL paradigm is generating differentially private responses through a noisy consensus among an ensemble of LLM's responses based on disjoint exemplar sets. Based on the general paradigm of DP-ICL, we instantiate several techniques showing how to privatize ICL for text classification and language generation. We evaluate DP-ICL on four text classification benchmarks and two language generation tasks, and our empirical results show that DP-ICL achieves a strong utility-privacy tradeoff.
• Abstract（参考訳）: In-context Learning (ICL) はLarge Language Models (LLM) の重要な機能であり、これらのモデルが特定の文脈内例に基づいて動的に適応できるようにし、精度と妥当性を向上させる。 しかし、llmの応答は、コンテキスト内exemplarsに含まれる機密情報を漏洩する可能性がある。 この課題に対処するため、我々はICLタスクの民営化のための一般的なパラダイムであるDP-ICL(differially Private In-context Learning)を提案する。 DP-ICLパラダイムの鍵となる考え方は、不整合例集合に基づくLLMの応答のアンサンブル間の雑音的コンセンサスを通じて、微分プライベート応答を生成することである。 dp-iclの汎用パラダイムに基づき,テキスト分類と言語生成のためのiclの民営化方法を示す複数の手法をインスタンス化する。 我々は,DP-ICLを4つのテキスト分類ベンチマークと2つの言語生成タスクで評価し,DP-ICLが強力なユーティリティ・プライバシ・トレードオフを達成することを示す実証的な結果を得た。

関連論文リスト

• Effective Demonstration Annotation for In-Context Learning via Language Model-Based Determinantal Point Process [45.632012199451275]
  In-context Learning(ICL)は、インプット・アウトプット・ペアを通じてマッピングを学習する、数発の学習パラダイムである。 既存の作業は大規模にラベル付けされたサポートセットに大きく依存しているため、現実的なシナリオでは必ずしも実現できない。 言語モデルに基づく決定点プロセス(LM-DPP)を導入し、最適選択のための未ラベルインスタンスの不確かさと多様性を同時に検討する。
  論文  参考訳（メタデータ） (2024-08-04T18:08:15Z)
• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• ICLEval: Evaluating In-Context Learning Ability of Large Language Models [68.7494310749199]
  In-Context Learning (ICL) は大規模言語モデル(LLM)の重要な能力であり、相互接続された入力の理解と推論を可能にする。 既存の評価フレームワークは主に言語能力と知識に重点を置いており、しばしばICL能力の評価を見落としている。 LLMのICL能力を評価するためにICLEvalベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-21T08:06:10Z)
• Decipherment-Aware Multilingual Learning in Jointly Trained Language Models [2.8405971794435887]
  共同学習手法は、教師なし多言語学習において重要な解読過程であることを示す。 情報理論の観点からは、難解な解読設定におけるトークンアライメントの重要性を示す。 最後に、mBERTに語彙アライメントを適用し、異なる語彙群を下流のパフォーマンスに合わせることの寄与について検討する。
  論文  参考訳（メタデータ） (2024-06-11T13:10:30Z)
• Locally Differentially Private In-Context Learning [8.659575019965152]
  大規模な事前学習言語モデル(LLM)は、驚くべきインコンテキスト学習(ICL)能力を示している。 本稿では,文脈内学習(LDP-ICL)の局所的差分的フレームワークを提案する。 変圧器の勾配勾配降下による文脈内学習のメカニズムを考慮し,LDP-ICLにおけるプライバシとユーティリティのトレードオフ分析を行う。
  論文  参考訳（メタデータ） (2024-05-07T06:05:43Z)
• DEEP-ICL: Definition-Enriched Experts for Language Model In-Context Learning [37.22553531518853]
  大規模言語モデル(LLM)におけるパラメータの多さは、コンテキスト内学習(ICL)の能力を促進すると長い間考えられてきた。 ICL のための新しいタスク定義拡張 ExPert Ensembling Method である DEEP-ICL を紹介する。 ICLの改善はモデルのサイズに直接依存するのではなく、基本的にはタスク定義やタスク誘導学習の理解に起因している、と我々は主張する。
  論文  参考訳（メタデータ） (2024-03-07T05:26:41Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。