論文の概要: PrivacyPR: A Dataset of Real-World Privacy Fixes for Benchmarking Privacy-Aware Code Review
- arxiv url: http://arxiv.org/abs/2611.18293v1
- Date: Fri, 13 Nov 2026 15:18:33 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:21:47.937584
- Title: PrivacyPR: A Dataset of Real-World Privacy Fixes for Benchmarking Privacy-Aware Code Review
- Title(参考訳): プライバシPR:プライバシを意識したコードレビューのベンチマークのための実世界のプライバシ修正のデータセット
- Abstract要約: 当社では,1,469リポジトリからGitHubプルリクエスト(PR)を統合した4,131のデータセットであるPrivacyPRを提示する。
各PRには、コミット、差分、レビューの議論、プライバシ関連性、修正タイプ、原則のためのLCM生成ラベルが含まれている。
プライバシの欠陥はコーディングエージェントによって検出できるが、その検出はレビュー意図に強く依存し、誤報が伴う。
- 参考スコア(独自算出の注目度): 13.458879021394793
- License:
- Abstract: Coding agents increasingly review code, yet whether they catch the privacy defects that laws such as the GDPR require software to avoid remains largely untested, partly because few datasets connect real privacy defects to their accepted fixes and review context. We present PrivacyPR, a dataset of 4,131 merged GitHub pull requests (PRs) from 1,469 repositories, created between June 2018 and January 2024. Each PR includes its commits, diffs, review discussion, and LLM-generated labels for privacy relevance, fix type, and GDPR principles. PrivacyPR provides 1,169 high-confidence privacy fixes and 1,643 non-fix PRs, together with Verified, a manually checked split of 250 privacy fixes and 250 non-fix PRs, and Small, a 100 + 100 subset for evaluation. On Verified, both annotators endorsed 72% of the LLM's GDPR-principle assignments. Beyond supporting empirical study of how privacy defects arise and are fixed, PrivacyPR provides a benchmark for privacy-aware code review on real, developer-accepted fixes. Its evaluation harness reverts each fix to reintroduce the defect. On Small, two coding agents detect only 42-51% of defects under a generic review prompt, but 88-91% when explicitly asked to check privacy, while flagging 11-15% of non-fix PRs. These results show that privacy defects can be detected by coding agents, but that detection depends strongly on review intent and comes with false alarms. Data, code, reviews, judge verdicts, and an extensible evaluation harness are publicly available at https://doi.org/10.5281/zenodo.23744765.
- Abstract(参考訳): コーディングエージェントはますますコードをレビューするが、GDPRのような法律が避けるためにソフトウェアを必要とするプライバシの欠陥をキャッチするかどうかは不明だ。
2018年6月から2024年1月までに作成された1,469のリポジトリから4,131のGitHubプルリクエスト(PR)を統合したデータセットであるPrivacyPRを紹介します。
各PRには、コミット、差分、レビューの議論、プライバシ関連性、修正タイプ、GDPR原則のためのLCM生成ラベルが含まれている。
プライバシPRは1,169の高信頼のプライバシ修正と1,643の非フィックスPRを提供し、Verifiedとともに、手作業でチェックされた250のプライバシ修正と250の非フィックスPRと、評価のための100以上のサブセットであるSmallを提供する。
検証では、両アノテータはLLMのGDPR-原則割り当ての72%を支持した。
プライバシの欠陥の発生と修正に関する実証的研究のサポートに加えて、PrivacyPRは、実際の開発者の承認した修正に関する、プライバシを意識したコードレビューのベンチマークを提供する。
その評価ハーネスは、欠陥を再導入するために各修正を反転させる。
Smallでは、2つのコーディングエージェントがジェネリックレビュープロンプトで42-51%の欠陥しか検出していないが、明示的にプライバシをチェックするように要求された場合、88-91%が非修正PRの11-15%をフラグ付けしている。
これらの結果は、プライバシ欠陥はコーディングエージェントによって検出できることを示しているが、検出はレビュー意図に強く依存し、誤報が伴うことを示している。
データ、コード、レビュー、判決、拡張可能な評価ハーネスはhttps://doi.org/10.5281/zenodo.23744765で公開されている。
関連論文リスト
- PrivacyAssist: A User-Centric Agent Framework for Detecting Privacy Inconsistencies in Android Apps [0.9892966978799635]
本稿では,ユーザ・グラウンテッド・パーミッションと開発者が宣言した機密データ収集と共有の慣行の矛盾を検出するマルチエージェントLDMベースのプラットフォームであるPrivacyAssistを提案する。
私たちは200人のユーザと2,347のAndroidアプリでPrivacyAssistを評価し、許可されたパーミッションと宣言されたデータプラクティスの間に完全に一貫性があるアプリは16%しかありません。
論文 参考訳(メタデータ) (2026-04-25T10:58:05Z) - PrivPRISM: Automatically Detecting Discrepancies Between Google Play Data Safety Declarations and Developer Privacy Policies [8.052271364177988]
自己宣言的な開示は、実際のデータプラクティスについてユーザを非難する、完全なプライバシポリシと矛盾することが多い。
エンコーダとデコーダ言語モデルを組み合わせて,プライバシポリシから詳細なデータプラクティスを抽出し比較する,堅牢なフレームワークであるPrivPRISMを紹介した。
以上の結果から,汎用プライバシポリシの広範な再利用,曖昧/矛盾文の再利用,1億回以上ダウンロードされた著名なアプリの隠れリスクなど,システム上の課題が明らかになった。
論文 参考訳(メタデータ) (2026-03-10T05:33:40Z) - HearSay Benchmark: Do Audio LLMs Leak What They Hear? [71.05839007164776]
本稿では,オーディオ大言語モデルがアコースティック・ボイスプリントのみを通じて,ユーザのプライバシーを不注意に漏洩するかどうかを考察する。
$textitHearSay$は、22,000以上の現実世界のオーディオクリップから構築された総合的なベンチマークである。
textbfSignificant Privacy Leakage$の実験は、3つの重要な発見をもたらす。
論文 参考訳(メタデータ) (2026-01-07T10:33:44Z) - SAGE: A Context-Aware Approach for Mining Privacy Requirements Relevant Reviews from Mental Health Apps [0.0]
メンタルヘルス(MH)アプリは、メンタルウェルネスのニーズに合わせてサービスをカスタマイズするために、敏感なユーザーデータを必要とすることが多い。
この研究は、MHアプリから自動的にプライバシーレビューをマイニングするコンテキスト認識アプローチであるSAGEを紹介した。
論文 参考訳(メタデータ) (2025-07-11T21:53:56Z) - PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。
プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。
GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
論文 参考訳(メタデータ) (2024-08-29T17:58:38Z) - Finding Privacy-relevant Source Code [0.0]
本稿では、個人情報の処理に直接関与するコードの特定の方法であるプライバシー関連手法について紹介する。
次に、ソースコード内のこれらのプライバシ関連メソッドを特定し分類することで、コードレビューを支援する自動アプローチを提案する。
評価の結果,100個のオープンソースアプリケーションについて検討した結果,個人データ処理のプライバシ関連性は5%未満であることが判明した。
論文 参考訳(メタデータ) (2024-01-14T15:38:29Z) - A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。
EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。
我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
論文 参考訳(メタデータ) (2023-04-17T00:38:01Z) - Debugging Differential Privacy: A Case Study for Privacy Auditing [60.87570714269048]
監査は、微分プライベートなスキームの欠陥を見つけるためにも利用できることを示す。
このケーススタディでは、微分プライベートなディープラーニングアルゴリズムの最近のオープンソース実装を監査し、99.9999999999%の信頼を得て、この実装が要求される差分プライバシー保証を満たさないことを発見した。
論文 参考訳(メタデータ) (2022-02-24T17:31:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。