論文の概要: Privacy-Preserving In-Context Learning for Large Language Models
- arxiv url: http://arxiv.org/abs/2305.01639v2
- Date: Sat, 30 Sep 2023 12:33:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 16:45:37.759616
- Title: Privacy-Preserving In-Context Learning for Large Language Models
- Title(参考訳): 大規模言語モデルのためのプライバシー保護インコンテキスト学習
- Authors: Tong Wu, Ashwinee Panda, Jiachen T. Wang, Prateek Mittal
- Abstract要約: In-context Learning (ICL) はLarge Language Models (LLM) の重要な機能である
LLMの応答は、コンテキスト内の例に含まれた機密性の高い個人情報を漏洩させる可能性がある。
In-context Learning (DP-ICL) はICLタスクを民営化する一般的なパラダイムである。
- 参考スコア(独自算出の注目度): 36.13851291571231
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-context learning (ICL) is an important capability of Large Language Models
(LLMs), enabling these models to dynamically adapt based on specific,
in-context exemplars, thereby improving accuracy and relevance. However, LLM's
responses may leak the sensitive private information contained in in-context
exemplars. To address this challenge, we propose Differentially Private
In-context Learning (DP-ICL), a general paradigm for privatizing ICL tasks. The
key idea for DP-ICL paradigm is generating differentially private responses
through a noisy consensus among an ensemble of LLM's responses based on
disjoint exemplar sets. Based on the general paradigm of DP-ICL, we instantiate
several techniques showing how to privatize ICL for text classification and
language generation. We evaluate DP-ICL on four text classification benchmarks
and two language generation tasks, and our empirical results show that DP-ICL
achieves a strong utility-privacy tradeoff.
- Abstract(参考訳): In-context Learning (ICL) はLarge Language Models (LLM) の重要な機能であり、これらのモデルが特定の文脈内例に基づいて動的に適応できるようにし、精度と妥当性を向上させる。
しかし、llmの応答は、コンテキスト内exemplarsに含まれる機密情報を漏洩する可能性がある。
この課題に対処するため、我々はICLタスクの民営化のための一般的なパラダイムであるDP-ICL(differially Private In-context Learning)を提案する。
DP-ICLパラダイムの鍵となる考え方は、不整合例集合に基づくLLMの応答のアンサンブル間の雑音的コンセンサスを通じて、微分プライベート応答を生成することである。
dp-iclの汎用パラダイムに基づき,テキスト分類と言語生成のためのiclの民営化方法を示す複数の手法をインスタンス化する。
我々は,DP-ICLを4つのテキスト分類ベンチマークと2つの言語生成タスクで評価し,DP-ICLが強力なユーティリティ・プライバシ・トレードオフを達成することを示す実証的な結果を得た。
関連論文リスト
- P-ICL: Point In-Context Learning for Named Entity Recognition with Large Language Models [7.037794031385439]
近年,大規模な言語モデル (LLM) の台頭により,実演サンプルを使わずに名前付きエンティティ認識 (NER) を直接実現できるようになった。
標準ICLは、LLMがタスク命令、フォーマット、入力ラベルマッピングを理解するのにのみ役立つが、NERタスク自体の特異性を無視する。
LLMでNERをよりよく実現するための新しいプロンプトフレームワークであるP-ICLを提案する。
論文 参考訳(メタデータ) (2024-05-08T11:01:21Z) - Locally Differentially Private In-Context Learning [8.659575019965152]
大規模な事前学習言語モデル(LLM)は、驚くべきインコンテキスト学習(ICL)能力を示している。
本稿では,文脈内学習(LDP-ICL)の局所的差分的フレームワークを提案する。
変圧器の勾配勾配降下による文脈内学習のメカニズムを考慮し,LDP-ICLにおけるプライバシとユーティリティのトレードオフ分析を行う。
論文 参考訳(メタデータ) (2024-05-07T06:05:43Z) - Towards Multimodal In-Context Learning for Vision & Language Models [17.94596325418465]
本研究では、ICL命令に従うための最先端のVLMの機能を解析する。
大規模な混合モダリティ事前訓練を受けたモデルでさえも、少数ショット(ICL)のデモンストレーションを行う際に、インターリーブ画像とテキスト情報のアンダーパフォーマンスを利用するように暗黙的にガイドされていることが判明した。
我々は、ICLのサポート、方法論、カリキュラムで共通のVLMアライメントフレームワークを拡張するための、シンプルで、驚くほど効果的な戦略を提案する。
論文 参考訳(メタデータ) (2024-03-19T13:53:37Z) - DEEP-ICL: Definition-Enriched Experts for Language Model In-Context
Learning [61.85871109164743]
大規模言語モデル(LLM)におけるパラメータの多さは、コンテキスト内学習(ICL)の能力を促進すると長い間考えられてきた。
ICL のための新しいタスク定義拡張 ExPert Ensembling Method である DEEP-ICL を紹介する。
ICLの改善はモデルのサイズに直接依存するのではなく、基本的にはタスク定義やタスク誘導学習の理解に起因している、と我々は主張する。
論文 参考訳(メタデータ) (2024-03-07T05:26:41Z) - Self-Augmented In-Context Learning for Unsupervised Word Translation [81.6546357879259]
大規模言語モデル (LLMs) は、強力な単語翻訳やバイリンガル語彙誘導(BLI)機能を示す。
教師なしBLIのための自己拡張型インコンテキスト学習(SAIL)を提案する。
提案手法は,2つの確立したBLIベンチマーク上でのLDMのゼロショットプロンプトよりも大幅に向上することを示す。
論文 参考訳(メタデータ) (2024-02-15T15:43:05Z) - DAIL: Data Augmentation for In-Context Learning via Self-Paraphrase [37.68804898063595]
In-Context Learning (ICL)と事前訓練された大規模言語モデルを組み合わせることで、様々なNLPタスクにおいて有望な結果が得られた。
textbfData textbfAugmentation for textbfIn-Context textbfLearning (textbfDAIL)を提案する。
論文 参考訳(メタデータ) (2023-11-06T18:12:55Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Prompting Language-Informed Distribution for Compositional Zero-Shot
Learning [80.29186197773636]
合成ゼロショット学習(CZSL)タスクは、目に見えない視覚概念を認識することを目的としている。
本稿では,タスクに対して言語インフォームド分布(PLID)を指示するモデルを提案する。
MIT-States、UT-Zappos、C-GQAデータセットの実験結果は、PLIDの先行技術よりも優れた性能を示している。
論文 参考訳(メタデータ) (2023-05-23T18:00:22Z) - Using Representation Expressiveness and Learnability to Evaluate
Self-Supervised Learning Methods [61.49061000562676]
本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。
CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。
CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
論文 参考訳(メタデータ) (2022-06-02T19:05:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。