論文の概要: GenAIPABench: A Benchmark for Generative AI-based Privacy Assistants
- arxiv url: http://arxiv.org/abs/2309.05138v3
- Date: Tue, 19 Dec 2023 00:40:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 23:12:59.463802
- Title: GenAIPABench: A Benchmark for Generative AI-based Privacy Assistants
- Title(参考訳): GenAIPABench:AIベースのプライバシアシスタントのベンチマーク
- Authors: Aamir Hamid, Hemanth Reddy Samidi, Tim Finin, Primal Pappachan,
Roberto Yus
- Abstract要約: 本稿では、ジェネレーティブAIベースのプライバシアシスタント(GenAIPA)の評価ベンチマークであるGenAIPABenchを紹介する。
GenAIPABench には,1) プライバシポリシやデータ保護規則に関する一連の質問,2) さまざまな組織や規制に対する注釈付き回答,2) 応答の正確性,関連性,一貫性を評価するメトリクス,3) プライバシドキュメントの導入や,システムの堅牢性をテストするためのさまざまなプライバシ質問などを生成するためのプロンプトを生成するツールなどが含まれている。
我々は、GenAIPABenchを用いて、ChatGPT-4、Bard、Bing AIの3つの主要なGenAIシステムを評価し、その効果をGenAIPAとして評価した。
- 参考スコア(独自算出の注目度): 1.2642388972233845
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Privacy policies of websites are often lengthy and intricate. Privacy
assistants assist in simplifying policies and making them more accessible and
user friendly. The emergence of generative AI (genAI) offers new opportunities
to build privacy assistants that can answer users questions about privacy
policies. However, genAIs reliability is a concern due to its potential for
producing inaccurate information. This study introduces GenAIPABench, a
benchmark for evaluating Generative AI-based Privacy Assistants (GenAIPAs).
GenAIPABench includes: 1) A set of questions about privacy policies and data
protection regulations, with annotated answers for various organizations and
regulations; 2) Metrics to assess the accuracy, relevance, and consistency of
responses; and 3) A tool for generating prompts to introduce privacy documents
and varied privacy questions to test system robustness. We evaluated three
leading genAI systems ChatGPT-4, Bard, and Bing AI using GenAIPABench to gauge
their effectiveness as GenAIPAs. Our results demonstrate significant promise in
genAI capabilities in the privacy domain while also highlighting challenges in
managing complex queries, ensuring consistency, and verifying source accuracy.
- Abstract(参考訳): ウェブサイトのプライバシーポリシーは、しばしば長く複雑である。
プライバシーアシスタントはポリシーをシンプルにし、よりアクセスしやすくユーザーフレンドリーにする。
生成AI(genAI)の出現は、プライバシポリシーに関するユーザの質問に答えることのできるプライバシアシスタントを構築する新たな機会を提供する。
しかし、GenAIの信頼性は不正確な情報を生み出す可能性があるため懸念されている。
本稿では、ジェネレーティブAIベースのプライバシアシスタント(GenAIPA)を評価するベンチマークであるGenAIPABenchを紹介する。
GenAIPABench には以下のものがある。
1)プライバシーポリシー及びデータ保護規則に関する一連の質問であって、様々な組織及び規則に対する注釈付き回答である。
2)応答の正確性,関連性,整合性を評価する尺度,及び
3) システムの堅牢性をテストするために,プライバシドキュメントやさまざまなプライバシ質問のプロンプトを生成するツール。
我々は、GenAIPABenchを用いて、ChatGPT-4、Bard、Bing AIの3つの主要なGenAIシステムを評価し、その効果をGenAIPAとして評価した。
以上の結果から,プライバシ領域のgenAI機能において,複雑なクエリの管理,一貫性の確保,ソース精度の検証といった課題も浮き彫りにしている。
関連論文リスト
- The Ethics of Advanced AI Assistants [53.89899371095332]
本稿では,高度AIアシスタントがもたらす倫理的・社会的リスクについて論じる。
我々は、高度なAIアシスタントを自然言語インタフェースを持つ人工知能エージェントとして定義し、ユーザに代わってアクションのシーケンスを計画し実行することを目的としている。
先進的なアシスタントの社会規模での展開を考察し、協力、株式とアクセス、誤情報、経済的影響、環境、先進的なAIアシスタントの評価方法に焦点をあてる。
論文 参考訳(メタデータ) (2024-04-24T23:18:46Z) - A Survey of Privacy-Preserving Model Explanations: Privacy Risks, Attacks, and Countermeasures [50.987594546912725]
AIのプライバシと説明可能性に関する研究が増えているにもかかわらず、プライバシを保存するモデル説明にはほとんど注意が払われていない。
本稿では,モデル説明に対するプライバシ攻撃とその対策に関する,最初の徹底的な調査を紹介する。
論文 参考訳(メタデータ) (2024-03-31T12:44:48Z) - Genetic Auto-prompt Learning for Pre-trained Code Intelligence Language Models [54.58108387797138]
コードインテリジェンスタスクにおける即時学習の有効性について検討する。
既存の自動プロンプト設計手法は、コードインテリジェンスタスクに限られている。
本稿では、精巧な遺伝的アルゴリズムを用いてプロンプトを自動設計する遺伝的オートプロンプト(GenAP)を提案する。
論文 参考訳(メタデータ) (2024-03-20T13:37:00Z) - Search Engines Post-ChatGPT: How Generative Artificial Intelligence
Could Make Search Less Reliable [2.7557703490816268]
我々は、生成人工知能(GenAI)が生成したコンテンツを生成、インデックス化、配布し始めるにつれて、検索エンジンの進化する性質について議論する。
我々の議論は、GenAI統合の初期段階、特に事実上の矛盾とバイアスに関する課題を強調します。
論文 参考訳(メタデータ) (2024-02-18T21:10:18Z) - Evaluating if trust and personal information privacy concerns are
barriers to using health insurance that explicitly utilizes AI [0.6138671548064355]
本研究は、信頼とプライバシに関する懸念が、医療保険におけるAI導入の障壁であるかどうかを考察する。
調査の結果、AIが見える第2のシナリオでは、信頼が著しく低いことが判明した。
プライバシに関する懸念はAIでは高いが、モデル内では統計的に重要な違いはない。
論文 参考訳(メタデータ) (2024-01-20T15:02:56Z) - On Responsible Machine Learning Datasets with Fairness, Privacy, and
Regulatory Norms [58.93352076927003]
AI技術の信頼性に関する深刻な懸念があった。
機械学習とディープラーニングのアルゴリズムは、開発に使用されるデータに大きく依存する。
本稿では,責任あるルーブリックを用いてデータセットを評価するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-24T14:01:53Z) - Security and Privacy on Generative Data in AIGC: A Survey [17.456578314457612]
我々はAIGCにおける生成データのセキュリティとプライバシについてレビューする。
プライバシ、制御性、信頼性、コンプライアンスの基本的な性質の観点から、最先端の対策が成功した経験を明らかにする。
論文 参考訳(メタデータ) (2023-09-18T02:35:24Z) - VerifAI: Verified Generative AI [22.14231506649365]
生成AIは大きな進歩を遂げているが、その正確性と信頼性に関する懸念は拡大を続けている。
本稿では,データ管理の観点から生成AIの出力を検証することが,生成AIの新たな課題であることを示す。
私たちのビジョンは、検証可能な生成AIの開発を促進し、より信頼性が高く責任あるAIの利用に貢献することです。
論文 参考訳(メタデータ) (2023-07-06T06:11:51Z) - Challenges and Remedies to Privacy and Security in AIGC: Exploring the
Potential of Privacy Computing, Blockchain, and Beyond [17.904983070032884]
本稿では,AIGCの概念,分類,基礎技術について概観する。
複数の観点からAIGCが直面するプライバシーとセキュリティの課題について論じる。
論文 参考訳(メタデータ) (2023-06-01T07:49:22Z) - DeID-GPT: Zero-shot Medical Text De-Identification by GPT-4 [80.36535668574804]
我々は新しいGPT4対応脱識別フレームワーク(DeID-GPT)を開発した。
開発したDeID-GPTは,非構造化医用テキストからの個人情報のマスキングにおいて,高い精度と信頼性を示した。
本研究は,ChatGPTおよびGPT-4を医療用テキストデータ処理および非識別に利用した最初期の1つである。
論文 参考訳(メタデータ) (2023-03-20T11:34:37Z) - More Than Privacy: Applying Differential Privacy in Key Areas of
Artificial Intelligence [62.3133247463974]
差分プライバシーは、AIのプライバシー保護以上のことができることを示す。
また、セキュリティを改善し、学習を安定させ、公正なモデルを構築し、AIの選択領域にコンポジションを課すためにも使用できる。
論文 参考訳(メタデータ) (2020-08-05T03:07:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。