論文の概要: GenAIPABench: A Benchmark for Generative AI-based Privacy Assistants
- arxiv url: http://arxiv.org/abs/2309.05138v2
- Date: Wed, 18 Oct 2023 20:14:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-20 19:19:21.654512
- Title: GenAIPABench: A Benchmark for Generative AI-based Privacy Assistants
- Title(参考訳): GenAIPABench:AIベースのプライバシアシスタントのベンチマーク
- Authors: Aamir Hamid, Hemanth Reddy Samidi, Tim Finin, Primal Pappachan,
Roberto Yus
- Abstract要約: 本稿では,ジェネレーティブAIベースのプライバシアシスタント(GenAIPA)の性能を評価するためのベンチマークフレームワークであるGenAIPABenchを紹介する。
GenAIPABenchは、1) 組織のプライバシポリシとデータ保護規制に関する包括的な質問と、いくつかの組織や規制に対する注釈付き回答。
我々はGenAIPABenchを使用して、3つの主要なgenAIシステム(ChatGPT、Bard、Bing AI)がGenAIPAになる可能性を評価する。
- 参考スコア(独自算出の注目度): 1.2642388972233845
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Privacy policies inform users about the data management practices of
organizations. Yet, their complexity often renders them largely
incomprehensible to the average user, necessitating the development of privacy
assistants. With the advent of generative AI (genAI) technologies, there is an
untapped potential to enhance privacy assistants in answering user queries
effectively. However, the reliability of genAI remains a concern due to its
propensity for generating incorrect or misleading information. This study
introduces GenAIPABench, a novel benchmarking framework designed to evaluate
the performance of Generative AI-based Privacy Assistants (GenAIPAs).
GenAIPABench comprises: 1) A comprehensive set of questions about an
organization's privacy policy and a data protection regulation, along with
annotated answers for several organizations and regulations; 2) A robust set of
evaluation metrics for assessing the accuracy, relevance, and consistency of
the generated responses; and 3) An evaluation tool that generates appropriate
prompts to introduce the system to the privacy document and different
variations of the privacy questions to evaluate its robustness. We use
GenAIPABench to assess the potential of three leading genAI systems in becoming
GenAIPAs: ChatGPT, Bard, and Bing AI. Our results demonstrate significant
promise in genAI capabilities in the privacy domain while also highlighting
challenges in managing complex queries, ensuring consistency, and verifying
source accuracy.
- Abstract(参考訳): プライバシポリシは,組織のデータ管理プラクティスをユーザに通知するものだ。
しかし、その複雑さは平均的なユーザーにはほとんど理解できないので、プライバシアシスタントの開発は必要だ。
ジェネレーティブAI(genAI)技術の出現により、ユーザクエリを効果的に答える上で、プライバシアシスタントを強化する可能性がある。
しかし、偽情報や誤情報を発生させる傾向があることから、元AIの信頼性が懸念されている。
本稿では,Generative AIベースのプライバシアシスタント(GenAIPA)の性能評価を目的とした,新しいベンチマークフレームワークであるGenAIPABenchを紹介する。
GenAIPABench:
1) 組織のプライバシーポリシー及びデータ保護規則に関する包括的な質問と,いくつかの組織及び規則に対する注釈付き回答
2) 生成した応答の正確性,妥当性,一貫性を評価するためのロバストな評価指標
3)プライバシ文書にシステムを導入するための適切なプロンプトを生成する評価ツールと,その堅牢性を評価するためのプライバシ質問のバリエーションが異なる。
我々はGenAIPABenchを使用して、3つの主要なGenAIシステム(ChatGPT、Bard、Bing AI)の可能性を評価する。
以上の結果から,プライバシ領域のgenAI機能において,複雑なクエリの管理,一貫性の確保,ソース精度の検証といった課題も浮き彫りにしている。
関連論文リスト
- The Ethics of Advanced AI Assistants [53.89899371095332]
本稿では,高度AIアシスタントがもたらす倫理的・社会的リスクについて論じる。
我々は、高度なAIアシスタントを自然言語インタフェースを持つ人工知能エージェントとして定義し、ユーザに代わってアクションのシーケンスを計画し実行することを目的としている。
先進的なアシスタントの社会規模での展開を考察し、協力、株式とアクセス、誤情報、経済的影響、環境、先進的なAIアシスタントの評価方法に焦点をあてる。
論文 参考訳(メタデータ) (2024-04-24T23:18:46Z) - A Survey of Privacy-Preserving Model Explanations: Privacy Risks, Attacks, and Countermeasures [50.987594546912725]
AIのプライバシと説明可能性に関する研究が増えているにもかかわらず、プライバシを保存するモデル説明にはほとんど注意が払われていない。
本稿では,モデル説明に対するプライバシ攻撃とその対策に関する,最初の徹底的な調査を紹介する。
論文 参考訳(メタデータ) (2024-03-31T12:44:48Z) - Genetic Auto-prompt Learning for Pre-trained Code Intelligence Language Models [54.58108387797138]
コードインテリジェンスタスクにおける即時学習の有効性について検討する。
既存の自動プロンプト設計手法は、コードインテリジェンスタスクに限られている。
本稿では、精巧な遺伝的アルゴリズムを用いてプロンプトを自動設計する遺伝的オートプロンプト(GenAP)を提案する。
論文 参考訳(メタデータ) (2024-03-20T13:37:00Z) - Search Engines Post-ChatGPT: How Generative Artificial Intelligence
Could Make Search Less Reliable [2.7557703490816268]
我々は、生成人工知能(GenAI)が生成したコンテンツを生成、インデックス化、配布し始めるにつれて、検索エンジンの進化する性質について議論する。
我々の議論は、GenAI統合の初期段階、特に事実上の矛盾とバイアスに関する課題を強調します。
論文 参考訳(メタデータ) (2024-02-18T21:10:18Z) - Evaluating if trust and personal information privacy concerns are
barriers to using health insurance that explicitly utilizes AI [0.6138671548064355]
本研究は、信頼とプライバシに関する懸念が、医療保険におけるAI導入の障壁であるかどうかを考察する。
調査の結果、AIが見える第2のシナリオでは、信頼が著しく低いことが判明した。
プライバシに関する懸念はAIでは高いが、モデル内では統計的に重要な違いはない。
論文 参考訳(メタデータ) (2024-01-20T15:02:56Z) - On Responsible Machine Learning Datasets with Fairness, Privacy, and
Regulatory Norms [58.93352076927003]
AI技術の信頼性に関する深刻な懸念があった。
機械学習とディープラーニングのアルゴリズムは、開発に使用されるデータに大きく依存する。
本稿では,責任あるルーブリックを用いてデータセットを評価するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-24T14:01:53Z) - Security and Privacy on Generative Data in AIGC: A Survey [17.456578314457612]
我々はAIGCにおける生成データのセキュリティとプライバシについてレビューする。
プライバシ、制御性、信頼性、コンプライアンスの基本的な性質の観点から、最先端の対策が成功した経験を明らかにする。
論文 参考訳(メタデータ) (2023-09-18T02:35:24Z) - VerifAI: Verified Generative AI [22.14231506649365]
生成AIは大きな進歩を遂げているが、その正確性と信頼性に関する懸念は拡大を続けている。
本稿では,データ管理の観点から生成AIの出力を検証することが,生成AIの新たな課題であることを示す。
私たちのビジョンは、検証可能な生成AIの開発を促進し、より信頼性が高く責任あるAIの利用に貢献することです。
論文 参考訳(メタデータ) (2023-07-06T06:11:51Z) - Challenges and Remedies to Privacy and Security in AIGC: Exploring the
Potential of Privacy Computing, Blockchain, and Beyond [17.904983070032884]
本稿では,AIGCの概念,分類,基礎技術について概観する。
複数の観点からAIGCが直面するプライバシーとセキュリティの課題について論じる。
論文 参考訳(メタデータ) (2023-06-01T07:49:22Z) - DeID-GPT: Zero-shot Medical Text De-Identification by GPT-4 [80.36535668574804]
我々は新しいGPT4対応脱識別フレームワーク(DeID-GPT)を開発した。
開発したDeID-GPTは,非構造化医用テキストからの個人情報のマスキングにおいて,高い精度と信頼性を示した。
本研究は,ChatGPTおよびGPT-4を医療用テキストデータ処理および非識別に利用した最初期の1つである。
論文 参考訳(メタデータ) (2023-03-20T11:34:37Z) - More Than Privacy: Applying Differential Privacy in Key Areas of
Artificial Intelligence [62.3133247463974]
差分プライバシーは、AIのプライバシー保護以上のことができることを示す。
また、セキュリティを改善し、学習を安定させ、公正なモデルを構築し、AIの選択領域にコンポジションを課すためにも使用できる。
論文 参考訳(メタデータ) (2020-08-05T03:07:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。