Fugu-MT 論文翻訳(概要): Privacy Policy Analysis through Prompt Engineering for LLMs

論文の概要: Privacy Policy Analysis through Prompt Engineering for LLMs

arxiv url: http://arxiv.org/abs/2409.14879v1
Date: Mon, 23 Sep 2024 10:23:31 GMT
ステータス: 処理完了
システム内更新日: 2024-11-06 20:39:08.802718
Title: Privacy Policy Analysis through Prompt Engineering for LLMs
Title（参考訳）: LLMのプロンプトエンジニアリングによるプライバシポリシ分析
Authors: Arda Goknil, Femke B. Gelderblom, Simeon Tverdal, Shukun Tokas, Hui Song,
Abstract要約: PAPEL (Privacy Policy Analysis through Prompt Engineering for LLMs) は、Large Language Models (LLMs) の力を利用してプライバシーポリシーの分析を自動化するフレームワークである。これらのポリシーからの情報の抽出、アノテーション、要約を合理化し、追加のモデルトレーニングを必要とせず、アクセシビリティと理解性を高めることを目的としている。 PAPELの有効性を, (i) アノテーションと (ii) 矛盾解析の2つの応用で実証した。
参考スコア（独自算出の注目度）: 3.059256166047627
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Privacy policies are often obfuscated by their complexity, which impedes transparency and informed consent. Conventional machine learning approaches for automatically analyzing these policies demand significant resources and substantial domain-specific training, causing adaptability issues. Moreover, they depend on extensive datasets that may require regular maintenance due to changing privacy concerns. In this paper, we propose, apply, and assess PAPEL (Privacy Policy Analysis through Prompt Engineering for LLMs), a framework harnessing the power of Large Language Models (LLMs) through prompt engineering to automate the analysis of privacy policies. PAPEL aims to streamline the extraction, annotation, and summarization of information from these policies, enhancing their accessibility and comprehensibility without requiring additional model training. By integrating zero-shot, one-shot, and few-shot learning approaches and the chain-of-thought prompting in creating predefined prompts and prompt templates, PAPEL guides LLMs to efficiently dissect, interpret, and synthesize the critical aspects of privacy policies into user-friendly summaries. We demonstrate the effectiveness of PAPEL with two applications: (i) annotation and (ii) contradiction analysis. We assess the ability of several LLaMa and GPT models to identify and articulate data handling practices, offering insights comparable to existing automated analysis approaches while reducing training efforts and increasing the adaptability to new analytical needs. The experiments demonstrate that the LLMs PAPEL utilizes (LLaMA and Chat GPT models) achieve robust performance in privacy policy annotation, with F1 scores reaching 0.8 and above (using the OPP-115 gold standard), underscoring the effectiveness of simpler prompts across various advanced language models.
Abstract（参考訳）: プライバシーポリシーは、しばしばその複雑さによって難読化され、透明性とインフォームド・コンセンサスを妨げる。これらのポリシーを自動的に分析するための従来の機械学習アプローチは、重要なリソースと相当なドメイン固有のトレーニングを必要とし、適応性の問題を引き起こす。さらに、プライバシの懸念が変化するため、定期的なメンテナンスを必要とする可能性のある広範なデータセットにも依存する。本稿では,大規模言語モデル(LLM)の力を利用するフレームワークであるPAPEL(Privacy Policy Analysis through Prompt Engineering for LLMs)を提案し,適用し,評価する。 PAPELは、これらのポリシーからの情報の抽出、アノテーション、要約を合理化し、追加のモデルトレーニングを必要とせず、アクセシビリティと理解性を高めることを目的としている。ゼロショット、ワンショット、および少数ショットの学習アプローチと、事前に定義されたプロンプトの作成とテンプレートのプロンプトを促進するチェーン・オブ・ナストを統合することで、PAPELはLLMに、プライバシーポリシーの重要な側面をユーザフレンドリーな要約に効率的に分析し、解釈し、合成するように誘導する。 PAPELの有効性を2つの応用例で示す。 (i)注記・注記 (二)矛盾分析我々は,複数のLLaMaモデルとGPTモデルを用いてデータハンドリングの実践を識別・記述し,既存の自動分析手法に匹敵する洞察を提供するとともに,トレーニングの労力を削減し,新たな分析ニーズへの適応性を向上する能力を評価する。実験では,LLaMAおよびChat GPTモデルを用いて,F1スコアが0.8以上(OPP-115ゴールド標準を使用)に到達し,より単純なプロンプトの有効性を実証した。

関連論文リスト

Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
論文参考訳（メタデータ） (2024-10-24T17:56:08Z)
LLM-CI: Assessing Contextual Integrity Norms in Language Models [1.1715858161748576]
大規模言語モデル(LLM)は、社会的嗜好や規範を意図せずに符号化することができる。これは、プロンプトの感度が$$$$小であることから特に困難である。 LLM-CIは、符号化された規範を評価するための最初のオープンソースフレームワークである。
論文参考訳（メタデータ） (2024-09-05T17:50:31Z)
LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
論文参考訳（メタデータ） (2024-08-23T01:37:29Z)
Large Language Models: A New Approach for Privacy Policy Analysis at Scale [1.7570777893613145]
本研究は,大規模プライバシポリシから効果的かつ効率的にプライバシプラクティスを抽出する代替手段として,LLM(Large Language Models)の適用を提案する。我々はChatGPTやLlama 2といった有名なLLMを活用し、プロンプト、パラメータ、モデルの最適設計に関するガイダンスを提供する。評価では、ドメイン内のいくつかの有名なデータセットをベンチマークとして、その例外的な性能を評価し、F1スコアが93%を超えた。
論文参考訳（メタデータ） (2024-05-31T15:12:33Z)
PoliTune: Analyzing the Impact of Data Selection and Fine-Tuning on Economic and Political Biases in Large Language Models [1.1704154007740835]
大規模言語モデル(LLM)における微調整とデータ選択が経済的・政治的バイアスに与える影響について検討する。特定のイデオロギーとLLMの整合性を検討するための微調整手法であるPoliTuneを紹介した。我々は、データセットの選択、アノテーション、DPO(Direct Preference Optimization)のための選好データセットの合成にオープンソースのLlama3-70Bを使用する体系的手法を導入し、そのモデルと所定の政治的イデオロギーを整合させる。
論文参考訳（メタデータ） (2024-04-10T16:30:09Z)
How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文参考訳（メタデータ） (2024-02-25T20:07:13Z)
Enhancing Robotic Manipulation with AI Feedback from Multimodal Large Language Models [41.38520841504846]
大規模言語モデル(LLM)は、画像入力から意思決定のガイドまで、自動的な好みフィードバックを提供する。本研究では,ロボット操作作業における軌跡映像の理解が可能なマルチモーダルLLMであるCriticGPTを訓練する。アルゴリズムの選好精度を実験的に評価すると、新しいタスクに対する効果的な一般化能力が示される。 Meta-Worldタスクのパフォーマンスは、CriticGPTの報酬モデルが、最先端の事前訓練された表現モデルに基づいて報酬を越え、ポリシー学習を効率的に導くことを示している。
論文参考訳（メタデータ） (2024-02-22T03:14:03Z)
Adapting LLMs for Efficient, Personalized Information Retrieval: Methods and Implications [0.7832189413179361]
LLM(Large Language Models)は、人間に似たテキストの理解と生成に優れた言語モデルである。本稿では,言語モデル(LLM)と情報検索(IR)システムの統合戦略について検討する。
論文参考訳（メタデータ） (2023-11-21T02:01:01Z)
Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文参考訳（メタデータ） (2023-09-07T01:35:24Z)
Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。本稿では,この新技術について概観する。
論文参考訳（メタデータ） (2023-08-06T18:38:52Z)
Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。