論文の概要: Privacy Preserving Prompt Engineering: A Survey

• arxiv url: http://arxiv.org/abs/2404.06001v2
• Date: Thu, 11 Apr 2024 00:17:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 17:46:48.920724
• Title: Privacy Preserving Prompt Engineering: A Survey
• Title（参考訳）: プロンプトエンジニアリングのためのプライバシ保護 - 調査より
• Authors: Kennedy Edemacu, Xintao Wu,
• Abstract要約: 事前学習された言語モデル(PLM)は、広範囲の自然言語処理(NLP)タスクを解くのに非常に有能である。 その結果、これらのモデルのサイズは近年顕著に拡大している。 プライバシーに関する懸念は、広く使われている中で大きな障害となっている。
• 参考スコア（独自算出の注目度）: 14.402638881376419
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained language models (PLMs) have demonstrated significant proficiency in solving a wide range of general natural language processing (NLP) tasks. Researchers have observed a direct correlation between the performance of these models and their sizes. As a result, the sizes of these models have notably expanded in recent years, persuading researchers to adopt the term large language models (LLMs) to characterize the larger-sized PLMs. The size expansion comes with a distinct capability called in-context learning (ICL), which represents a special form of prompting and allows the models to be utilized through the presentation of demonstration examples without modifications to the model parameters. Although interesting, privacy concerns have become a major obstacle in its widespread usage. Multiple studies have examined the privacy risks linked to ICL and prompting in general, and have devised techniques to alleviate these risks. Thus, there is a necessity to organize these mitigation techniques for the benefit of the community. This survey provides a systematic overview of the privacy protection methods employed during ICL and prompting in general. We review, analyze, and compare different methods under this paradigm. Furthermore, we provide a summary of the resources accessible for the development of these frameworks. Finally, we discuss the limitations of these frameworks and offer a detailed examination of the promising areas that necessitate further exploration.
• Abstract（参考訳）: 事前学習された言語モデル(PLM)は、広範囲の自然言語処理(NLP)タスクを解くのに非常に有能である。 研究者はこれらのモデルの性能とサイズの間に直接的な相関を観測している。 その結果、これらのモデルのサイズは近年顕著に拡大しており、研究者はより大きなPLMを特徴付けるために「大規模言語モデル」(LLM)という用語を採用することを説得している。 サイズ拡大は、インコンテキスト学習(ICL)と呼ばれる、特別なプロンプト形式を表現し、モデルパラメータを変更することなく、実演例を提示することで、モデルを活用できるようにする機能を備えている。 興味深いことに、プライバシーに関する懸念は、広く使われている中で大きな障害となっている。 複数の研究がICLに関連するプライバシーリスクを調査し、これらのリスクを緩和するためのテクニックを考案した。 したがって、コミュニティの利益のためにこれらの緩和手法を組織化する必要がある。 本調査は、ICLにおけるプライバシ保護手法の体系的概要と、一般の関心を喚起するものである。 このパラダイムの下で異なる手法をレビューし、分析し、比較する。 さらに,これらのフレームワークの開発に利用可能なリソースについて概説する。 最後に,これらのフレームワークの限界について考察し,さらなる探索を必要とする将来性のある領域について詳細に検討する。

関連論文リスト

• Adapter-based Approaches to Knowledge-enhanced Language Models -- A Survey [48.52320309766703]
  知識強化言語モデル(KELM)は、大規模言語モデルとドメイン固有の知識のギャップを埋めるための有望なツールとして登場した。 KELMsは知識グラフ(KGs)を利用することで、より現実的な精度と幻覚を達成することができる
  論文  参考訳（メタデータ） (2024-11-25T14:10:24Z)
• Enhancing Multiple Dimensions of Trustworthiness in LLMs via Sparse Activation Control [44.326363467045496]
  大規模言語モデル(LLM)は、ヒューマンフィードバック(RLHF)からの強化学習において重要な研究領域となっている。 表現工学は、新しい、トレーニングなしのアプローチを提供する。 この手法は意味的特徴を利用してLLMの中間隠れ状態の表現を制御する。 正直さや安全性などの様々な意味内容を特異な意味的特徴に符号化することは困難である。
  論文  参考訳（メタデータ） (2024-11-04T08:36:03Z)
• From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
  クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。 本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
  論文  参考訳（メタデータ） (2024-09-19T02:51:54Z)
• Towards a Unified View of Preference Learning for Large Language Models: A Survey [88.66719962576005]
  大きな言語モデル(LLM)は、非常に強力な能力を示す。 成功するための重要な要因の1つは、LLMの出力を人間の好みに合わせることである。 選好学習のすべての戦略を、モデル、データ、フィードバック、アルゴリズムの4つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-09-04T15:11:55Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• Simple Techniques for Enhancing Sentence Embeddings in Generative Language Models [3.0566617373924325]
  文の埋め込みは自然言語処理の領域における基本的なタスクであり、検索エンジン、エキスパートシステム、質問・回答プラットフォームで広範囲に応用されている。 LLaMAやMistralのような大規模言語モデルの継続的な進化により、文の埋め込みに関する研究は近年顕著なブレークスルーを達成している。 PLMの生埋め込みの表現力をさらに向上する2つの革新的急進的技術技術を提案する。
  論文  参考訳（メタデータ） (2024-04-05T07:07:15Z)
• A Survey of Large Language Models in Cybersecurity [0.5221459608786241]
  大規模言語モデル(LLM)は、自然言語を処理しながら様々な分野における最先端の処理を行う能力により、急速に普及している。 この調査は、サイバーセキュリティのLLMがすでに適用されている分野、使用方法、分野における制限の特定を目的としている。
  論文  参考訳（メタデータ） (2024-02-26T19:06:02Z)
• Quantitative knowledge retrieval from large language models [4.155711233354597]
  大規模言語モデル(LLM)は、説得力のある自然言語配列を生成する能力について広く研究されている。 本稿では,データ解析作業を支援するための定量的知識検索のメカニズムとして,LLMの実現可能性について検討する。
  論文  参考訳（メタデータ） (2024-02-12T16:32:37Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。