論文の概要: Differentially Private In-Context Learning
- arxiv url: http://arxiv.org/abs/2305.01639v1
- Date: Tue, 2 May 2023 17:52:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-03 13:19:20.849894
- Title: Differentially Private In-Context Learning
- Title(参考訳): 個人的インコンテキスト学習
- Authors: Ashwinee Panda, Tong Wu, Jiachen T. Wang, Prateek Mittal
- Abstract要約: プライバシー保証を維持しつつ,大規模言語モデルが新たなタスクに適応できるようにするために,差分的プライベート・インコンテクスト学習を提案する。
DP-ICL を4つのベンチマークで評価し,非プライベート ICL と同等の性能を示した。
- 参考スコア(独自算出の注目度): 35.281526794321884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An important question in deploying large language models (LLMs) is how to
augment LLMs with private data. We propose Differentially Private In-context
Learning (DP-ICL) to enable LLMs to adapt to new tasks while maintaining
privacy guarantees. DP-ICL performs private inference by establishing noisy
consensus over an ensemble of exemplars using the Report-Noisy-Max mechanism.
We evaluate DP-ICL on four benchmarks and find that it achieves comparable
performance (<2\% degradation) with non-private ICL.
- Abstract(参考訳): 大規模言語モデル(LLM)のデプロイにおいて重要な疑問は、LLMをプライベートデータで拡張する方法である。
プライバシー保証を維持しつつ, LLM が新たなタスクに適応できるように, DP-ICL (differially Private In-context Learning) を提案する。
dp-icl は report-noisy-max のメカニズムを用いて、exemplar のアンサンブル上でノイズの多いコンセンサスを確立することで、プライベート推論を行う。
DP-ICL を4つのベンチマークで評価し,非プライベート ICL と同等の性能 (<2\% の劣化) を達成した。
関連論文リスト
- P-ICL: Point In-Context Learning for Named Entity Recognition with Large Language Models [7.037794031385439]
近年,大規模な言語モデル (LLM) の台頭により,実演サンプルを使わずに名前付きエンティティ認識 (NER) を直接実現できるようになった。
標準ICLは、LLMがタスク命令、フォーマット、入力ラベルマッピングを理解するのにのみ役立つが、NERタスク自体の特異性を無視する。
LLMでNERをよりよく実現するための新しいプロンプトフレームワークであるP-ICLを提案する。
論文 参考訳(メタデータ) (2024-05-08T11:01:21Z) - Locally Differentially Private In-Context Learning [8.659575019965152]
大規模な事前学習言語モデル(LLM)は、驚くべきインコンテキスト学習(ICL)能力を示している。
本稿では,文脈内学習(LDP-ICL)の局所的差分的フレームワークを提案する。
変圧器の勾配勾配降下による文脈内学習のメカニズムを考慮し,LDP-ICLにおけるプライバシとユーティリティのトレードオフ分析を行う。
論文 参考訳(メタデータ) (2024-05-07T06:05:43Z) - Towards Multimodal In-Context Learning for Vision & Language Models [17.94596325418465]
本研究では、ICL命令に従うための最先端のVLMの機能を解析する。
大規模な混合モダリティ事前訓練を受けたモデルでさえも、少数ショット(ICL)のデモンストレーションを行う際に、インターリーブ画像とテキスト情報のアンダーパフォーマンスを利用するように暗黙的にガイドされていることが判明した。
我々は、ICLのサポート、方法論、カリキュラムで共通のVLMアライメントフレームワークを拡張するための、シンプルで、驚くほど効果的な戦略を提案する。
論文 参考訳(メタデータ) (2024-03-19T13:53:37Z) - DEEP-ICL: Definition-Enriched Experts for Language Model In-Context
Learning [61.85871109164743]
大規模言語モデル(LLM)におけるパラメータの多さは、コンテキスト内学習(ICL)の能力を促進すると長い間考えられてきた。
ICL のための新しいタスク定義拡張 ExPert Ensembling Method である DEEP-ICL を紹介する。
ICLの改善はモデルのサイズに直接依存するのではなく、基本的にはタスク定義やタスク誘導学習の理解に起因している、と我々は主張する。
論文 参考訳(メタデータ) (2024-03-07T05:26:41Z) - Self-Augmented In-Context Learning for Unsupervised Word Translation [81.6546357879259]
大規模言語モデル (LLMs) は、強力な単語翻訳やバイリンガル語彙誘導(BLI)機能を示す。
教師なしBLIのための自己拡張型インコンテキスト学習(SAIL)を提案する。
提案手法は,2つの確立したBLIベンチマーク上でのLDMのゼロショットプロンプトよりも大幅に向上することを示す。
論文 参考訳(メタデータ) (2024-02-15T15:43:05Z) - DAIL: Data Augmentation for In-Context Learning via Self-Paraphrase [37.68804898063595]
In-Context Learning (ICL)と事前訓練された大規模言語モデルを組み合わせることで、様々なNLPタスクにおいて有望な結果が得られた。
textbfData textbfAugmentation for textbfIn-Context textbfLearning (textbfDAIL)を提案する。
論文 参考訳(メタデータ) (2023-11-06T18:12:55Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Prompting Language-Informed Distribution for Compositional Zero-Shot
Learning [80.29186197773636]
合成ゼロショット学習(CZSL)タスクは、目に見えない視覚概念を認識することを目的としている。
本稿では,タスクに対して言語インフォームド分布(PLID)を指示するモデルを提案する。
MIT-States、UT-Zappos、C-GQAデータセットの実験結果は、PLIDの先行技術よりも優れた性能を示している。
論文 参考訳(メタデータ) (2023-05-23T18:00:22Z) - Using Representation Expressiveness and Learnability to Evaluate
Self-Supervised Learning Methods [61.49061000562676]
本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。
CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。
CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
論文 参考訳(メタデータ) (2022-06-02T19:05:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。