Fugu-MT 論文翻訳(概要): Differentially Private In-Context Learning

論文の概要: Differentially Private In-Context Learning

arxiv url: http://arxiv.org/abs/2305.01639v1
Date: Tue, 2 May 2023 17:52:58 GMT
ステータス: 処理完了
システム内更新日: 2023-05-03 13:19:20.849894
Title: Differentially Private In-Context Learning
Title（参考訳）: 個人的インコンテキスト学習
Authors: Ashwinee Panda, Tong Wu, Jiachen T. Wang, Prateek Mittal
Abstract要約: プライバシー保証を維持しつつ,大規模言語モデルが新たなタスクに適応できるようにするために,差分的プライベート・インコンテクスト学習を提案する。 DP-ICL を4つのベンチマークで評価し,非プライベート ICL と同等の性能を示した。
参考スコア（独自算出の注目度）: 35.281526794321884
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: An important question in deploying large language models (LLMs) is how to augment LLMs with private data. We propose Differentially Private In-context Learning (DP-ICL) to enable LLMs to adapt to new tasks while maintaining privacy guarantees. DP-ICL performs private inference by establishing noisy consensus over an ensemble of exemplars using the Report-Noisy-Max mechanism. We evaluate DP-ICL on four benchmarks and find that it achieves comparable performance (<2\% degradation) with non-private ICL.
Abstract（参考訳）: 大規模言語モデル(LLM)のデプロイにおいて重要な疑問は、LLMをプライベートデータで拡張する方法である。プライバシー保証を維持しつつ, LLM が新たなタスクに適応できるように, DP-ICL (differially Private In-context Learning) を提案する。 dp-icl は report-noisy-max のメカニズムを用いて、exemplar のアンサンブル上でノイズの多いコンセンサスを確立することで、プライベート推論を行う。 DP-ICL を4つのベンチマークで評価し,非プライベート ICL と同等の性能 (<2\% の劣化) を達成した。

関連論文リスト

Effective Demonstration Annotation for In-Context Learning via Language Model-Based Determinantal Point Process [45.632012199451275]
In-context Learning(ICL)は、インプット・アウトプット・ペアを通じてマッピングを学習する、数発の学習パラダイムである。既存の作業は大規模にラベル付けされたサポートセットに大きく依存しているため、現実的なシナリオでは必ずしも実現できない。言語モデルに基づく決定点プロセス(LM-DPP)を導入し、最適選択のための未ラベルインスタンスの不確かさと多様性を同時に検討する。
論文参考訳（メタデータ） (2024-08-04T18:08:15Z)
Large Language Models are Interpretable Learners [53.56735770834617]
本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
論文参考訳（メタデータ） (2024-06-25T02:18:15Z)
ICLEval: Evaluating In-Context Learning Ability of Large Language Models [68.7494310749199]
In-Context Learning (ICL) は大規模言語モデル(LLM)の重要な能力であり、相互接続された入力の理解と推論を可能にする。既存の評価フレームワークは主に言語能力と知識に重点を置いており、しばしばICL能力の評価を見落としている。 LLMのICL能力を評価するためにICLEvalベンチマークを導入する。
論文参考訳（メタデータ） (2024-06-21T08:06:10Z)
Decipherment-Aware Multilingual Learning in Jointly Trained Language Models [2.8405971794435887]
共同学習手法は、教師なし多言語学習において重要な解読過程であることを示す。情報理論の観点からは、難解な解読設定におけるトークンアライメントの重要性を示す。最後に、mBERTに語彙アライメントを適用し、異なる語彙群を下流のパフォーマンスに合わせることの寄与について検討する。
論文参考訳（メタデータ） (2024-06-11T13:10:30Z)
Locally Differentially Private In-Context Learning [8.659575019965152]
大規模な事前学習言語モデル(LLM)は、驚くべきインコンテキスト学習(ICL)能力を示している。本稿では,文脈内学習(LDP-ICL)の局所的差分的フレームワークを提案する。変圧器の勾配勾配降下による文脈内学習のメカニズムを考慮し,LDP-ICLにおけるプライバシとユーティリティのトレードオフ分析を行う。
論文参考訳（メタデータ） (2024-05-07T06:05:43Z)
DEEP-ICL: Definition-Enriched Experts for Language Model In-Context Learning [37.22553531518853]
大規模言語モデル(LLM)におけるパラメータの多さは、コンテキスト内学習(ICL)の能力を促進すると長い間考えられてきた。 ICL のための新しいタスク定義拡張 ExPert Ensembling Method である DEEP-ICL を紹介する。 ICLの改善はモデルのサイズに直接依存するのではなく、基本的にはタスク定義やタスク誘導学習の理解に起因している、と我々は主張する。
論文参考訳（メタデータ） (2024-03-07T05:26:41Z)
Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文参考訳（メタデータ） (2023-09-07T01:35:24Z)
Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
論文参考訳（メタデータ） (2022-06-02T19:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。