論文の概要: PLUE: Language Understanding Evaluation Benchmark for Privacy Policies
in English
- arxiv url: http://arxiv.org/abs/2212.10011v2
- Date: Fri, 12 May 2023 07:38:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-15 16:02:05.925563
- Title: PLUE: Language Understanding Evaluation Benchmark for Privacy Policies
in English
- Title（参考訳）: PLUE:英語のプライバシーポリシーのための言語理解評価ベンチマーク
- Authors: Jianfeng Chi, Wasi Uddin Ahmad, Yuan Tian, Kai-Wei Chang
- Abstract要約: プライバシポリシ言語理解評価ベンチマークは,プライバシポリシ言語理解を評価するマルチタスクベンチマークである。
また、プライバシポリシの大規模なコーパスを収集し、プライバシポリシドメイン固有の言語モデル事前トレーニングを可能にします。
ドメイン固有の連続的な事前トレーニングは、すべてのタスクでパフォーマンスを改善することを実証します。
- 参考スコア（独自算出の注目度）: 77.79102359580702
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Privacy policies provide individuals with information about their rights and
how their personal information is handled. Natural language understanding (NLU)
technologies can support individuals and practitioners to understand better
privacy practices described in lengthy and complex documents. However, existing
efforts that use NLU technologies are limited by processing the language in a
way exclusive to a single task focusing on certain privacy practices. To this
end, we introduce the Privacy Policy Language Understanding Evaluation (PLUE)
benchmark, a multi-task benchmark for evaluating the privacy policy language
understanding across various tasks. We also collect a large corpus of privacy
policies to enable privacy policy domain-specific language model pre-training.
We evaluate several generic pre-trained language models and continue
pre-training them on the collected corpus. We demonstrate that domain-specific
continual pre-training offers performance improvements across all tasks.
- Abstract（参考訳）: プライバシーポリシーは、個人に自分の権利と個人情報の扱い方に関する情報を提供する。
自然言語理解(NLU)技術は、個人や実践者が長く複雑なドキュメントに記述されたより良いプライバシープラクティスを理解するのを支援することができる。
しかしながら、NLU技術を使用する既存の取り組みは、特定のプライバシープラクティスに焦点を当てた単一のタスクに限定して言語を処理することで制限されている。
そこで本研究では,プライバシポリシ言語理解度評価のためのマルチタスクベンチマークであるprivacy policy language understanding evaluation(plue)ベンチマークを紹介する。
また,プライバシポリシのドメイン固有言語モデル事前トレーニングを可能にするために,プライバシポリシの大規模なコーパスも収集しています。
我々は,いくつかの言語モデルの評価を行い,収集したコーパス上で事前学習を継続する。
ドメイン固有の連続的な事前トレーニングは、すべてのタスクに対してパフォーマンス改善を提供します。
関連論文リスト
- Differential Privacy Overview and Fundamental Techniques [63.0409690498569]
この章は、"Differential Privacy in Artificial Intelligence: From Theory to Practice"という本の一部である。
まず、データのプライバシ保護のためのさまざまな試みについて説明し、その失敗の場所と理由を強調した。
次に、プライバシ保護データ分析の領域を構成する重要なアクター、タスク、スコープを定義する。
論文 参考訳（メタデータ） (2024-11-07T13:52:11Z) - PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。
プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。
GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
論文 参考訳（メタデータ） (2024-08-29T17:58:38Z) - Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。
ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文 参考訳（メタデータ） (2024-06-20T13:54:32Z) - Privacy-Preserving Language Model Inference with Instance Obfuscation [33.86459812694288]
言語モデル・アズ・ア・サービス(LM)は、開発者や研究者が事前訓練された言語モデルを使用して推論を行うための便利なアクセスを提供する。
入力データとプライベート情報を含む推論結果は、サービスコール中にプレーンテキストとして公開され、プライバシー上の問題が発生する。
本稿では,自然言語理解タスクにおける決定プライバシ問題に対処することに焦点を当てた,インスタンス・オブフルスケート推論(IOI)手法を提案する。
論文 参考訳（メタデータ） (2024-02-13T05:36:54Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-10-27T04:15:30Z) - PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。
我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。
特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文 参考訳（メタデータ） (2023-10-03T22:37:01Z) - Building cross-language corpora for human understanding of privacy
policies [7.1707060082291925]
この研究は、国語と参照学習言語で同等のクロス言語を構築するための方法論を提供する。
本稿では,プライバシポリシにおける技術的用語の理解に関する最初の研究の1つとして,英語とイタリア語を比較した方法論の応用例を示す。
論文 参考訳（メタデータ） (2023-02-10T16:16:55Z) - How to keep text private? A systematic review of deep learning methods
for privacy-preserving natural language processing [0.38073142980732994]
記事は2016年から2020年にかけて発行されたプライバシー保護NLPに関する60以上の方法を体系的にレビューしている。
本稿では,既存の手法を3つのカテゴリに分類する新しい分類法を提案する。
我々は、データトレーサビリティ、オーバーヘッドデータセットサイズ、埋め込みにおける人間のバイアスの頻度に関するプライバシー保護NLPのオープンな課題について論じる。
論文 参考訳（メタデータ） (2022-05-20T11:29:44Z) - Privacy-Adaptive BERT for Natural Language Understanding [20.821155542969947]
BERTを用いたローカルプライバシ設定下でのNLUモデルの有効性向上について検討する。
本稿では,プライバシ対応lmプリトレーニング手法を提案し,民営化テキスト入力におけるモデル性能を大幅に向上できることを実証する。
論文 参考訳（メタデータ） (2021-04-15T15:01:28Z) - Privacy at Scale: Introducing the PrivaSeer Corpus of Web Privacy Policies [13.09699710197036]
PrivaSeerは、100万以上の英語ウェブサイトのプライバシーポリシーのコーパスです。
本稿では,可読性テスト,文書類似性,キーフレーズ抽出の結果を示し,トピックモデリングによるコーパスの探索を行った。
論文 参考訳（メタデータ） (2020-04-23T13:21:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。