論文の概要: SynBench: A Benchmark for Differentially Private Text Generation

• arxiv url: http://arxiv.org/abs/2509.14594v1
• Date: Thu, 18 Sep 2025 03:57:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.054961
• Title: SynBench: A Benchmark for Differentially Private Text Generation
• Title（参考訳）: SynBench: 差分プライベートテキスト生成のためのベンチマーク
• Authors: Yidan Sun, Viktor Schlegel, Srinivasan Nandakumar, Iqra Zahid, Yuping Wu, Yulong Wu, Hao Li, Jie Zhang, Warren Del-Pinto, Goran Nenadic, Siew Kei Lam, Anil Anthony Bharath,
• Abstract要約: 医療や金融といった高度な分野におけるデータ駆動型意思決定のサポートは、データ共有にとって大きな障壁に直面している。 大規模言語モデルのような最近の生成AIモデルは、オープンドメインタスクにおいて印象的なパフォーマンスを示している。 しかし、彼らのセンシティブな環境への導入は、予測不可能な振る舞いと、プライバシー保護の不十分なデータセットによって制限されている。
• 参考スコア（独自算出の注目度）: 35.908455649647784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-driven decision support in high-stakes domains like healthcare and finance faces significant barriers to data sharing due to regulatory, institutional, and privacy concerns. While recent generative AI models, such as large language models, have shown impressive performance in open-domain tasks, their adoption in sensitive environments remains limited by unpredictable behaviors and insufficient privacy-preserving datasets for benchmarking. Existing anonymization methods are often inadequate, especially for unstructured text, as redaction and masking can still allow re-identification. Differential Privacy (DP) offers a principled alternative, enabling the generation of synthetic data with formal privacy assurances. In this work, we address these challenges through three key contributions. First, we introduce a comprehensive evaluation framework with standardized utility and fidelity metrics, encompassing nine curated datasets that capture domain-specific complexities such as technical jargon, long-context dependencies, and specialized document structures. Second, we conduct a large-scale empirical study benchmarking state-of-the-art DP text generation methods and LLMs of varying sizes and different fine-tuning strategies, revealing that high-quality domain-specific synthetic data generation under DP constraints remains an unsolved challenge, with performance degrading as domain complexity increases. Third, we develop a membership inference attack (MIA) methodology tailored for synthetic text, providing first empirical evidence that the use of public datasets - potentially present in pre-training corpora - can invalidate claimed privacy guarantees. Our findings underscore the urgent need for rigorous privacy auditing and highlight persistent gaps between open-domain and specialist evaluations, informing responsible deployment of generative AI in privacy-sensitive, high-stakes settings.
• Abstract（参考訳）: 医療や金融といった高度な分野におけるデータ駆動型意思決定のサポートは、規制、制度、プライバシーに関する懸念から、データ共有に対する大きな障壁に直面している。 大規模言語モデルなどの最近の生成AIモデルは、オープンドメインタスクにおいて顕著なパフォーマンスを示しているが、予測不可能な振る舞いとベンチマークのためのプライバシー保護データセットによって、センシティブな環境への採用は制限されている。 既存の匿名化手法はしばしば不十分であり、特に構造化されていないテキストでは、リアクションやマスキングによって再識別が可能である。 差別化プライバシ(DP)は、正式なプライバシ保証を備えた合成データの生成を可能にする、原則化された代替手段を提供する。 本研究では,3つの主要なコントリビューションを通じて,これらの課題に対処する。 まず、専門用語、長文依存、特殊文書構造などのドメイン固有の複雑さを捉える9つのキュレートされたデータセットを含む、標準化されたユーティリティと忠実度メトリクスを備えた総合的な評価フレームワークを導入する。 第2に、DP制約下での高品質なドメイン固有合成データ生成は、ドメインの複雑さが増大するにつれて性能が低下し、未解決の課題であることを示した。 第3に、合成テキストに適した会員推論攻撃(MIA)手法を開発し、公開データセット(トレーニング前のコーパスに存在する可能性のある)の使用が、要求されるプライバシ保証を無効化できるという、最初の実証的な証拠を提供する。 われわれの調査結果は、厳格なプライバシー監査の緊急の必要性を強調し、オープンドメインとスペシャリスト評価の相違を強調し、プライバシに敏感でハイテイクな設定において、生成AIの責任ある展開を通知する。

関連論文リスト

• On the MIA Vulnerability Gap Between Private GANs and Diffusion Models [51.53790101362898]
  GAN(Generative Adversarial Networks)と拡散モデルが高品質な画像合成のための主要なアプローチとして登場している。 差分自己生成モデルが直面するプライバシーリスクの統一的および実証的分析について述べる。
  論文  参考訳（メタデータ） (2025-09-03T14:18:22Z)
• Evaluating Differentially Private Generation of Domain-Specific Text [33.72321050465059]
  差分プライバシー保証の下で生成されたテキストデータセットの有用性と忠実度を体系的に評価するための統一ベンチマークを導入する。 ドメイン固有の5つのデータセットにまたがって、最先端のプライバシ保存手法を評価する。
  論文  参考訳（メタデータ） (2025-08-28T05:57:47Z)
• RL-Finetuned LLMs for Privacy-Preserving Synthetic Rewriting [17.294176570269]
  本稿では,複合報酬関数を用いた大規模言語モデル(LLM)を微調整する強化学習フレームワークを提案する。 プライバシ報酬は、セマンティックキューと、潜伏表現上の最小スパンニングツリー(MST)から派生した構造パターンを組み合わせる。 実験の結果,提案手法はセマンティック品質を劣化させることなく,著者の難読化とプライバシーの指標を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-25T04:38:19Z)
• Generating Synthetic Data with Formal Privacy Guarantees: State of the Art and the Road Ahead [7.410975558116122]
  プライバシを保存する合成データは、高領域における分離されたデータを活用するための有望なソリューションを提供する。 本調査では, 生成モデルと差分プライバシの理論的基礎を概説し, 現状の手法を概観する。 調査の結果は、未確認のプライバシー漏洩、正式な保証の実証的検証の不十分、現実的なベンチマークの重大な欠陥など、重要な課題を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-26T16:06:33Z)
• Privacy in Fine-tuning Large Language Models: Attacks, Defenses, and Future Directions [11.338466798715906]
  細調整された大規模言語モデル(LLM)は、様々な領域で最先端のパフォーマンスを達成することができる。 本稿では、微調整LDMに関連するプライバシー問題に関する包括的調査を行う。 メンバーシップ推論、データ抽出、バックドア攻撃など、さまざまなプライバシ攻撃に対する脆弱性を強調します。
  論文  参考訳（メタデータ） (2024-12-21T06:41:29Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  機密情報を含む匿名化は、幅広いアプリケーションにとって不可欠である。 既存の技術は、大規模言語モデルの再識別能力の新たな課題に直面している。 本稿では,プライバシ評価器,ユーティリティ評価器,最適化コンポーネントの3つの重要なコンポーネントで構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Mitigating the Privacy Issues in Retrieval-Augmented Generation (RAG) via Pure Synthetic Data [51.41288763521186]
  Retrieval-augmented Generation (RAG)は、外部知識ソースから取得した関連情報を統合することにより、言語モデルの出力を強化する。 RAGシステムは、プライベートデータを取得する際に深刻なプライバシーリスクに直面する可能性がある。 検索データに対するプライバシー保護の代替として,合成データを用いる方法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T22:53:09Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• A Unified View of Differentially Private Deep Generative Modeling [60.72161965018005]
  プライバシー上の懸念のあるデータには、データアクセスとデータ共有を頻繁に禁止する厳格な規制が伴う。 これらの障害を克服することは、プライバシーに敏感なデータを含む多くの現実世界のアプリケーションシナリオにおいて、技術的進歩の鍵となる。 差分的プライベート(DP)データパブリッシングは、データの衛生化された形式のみを公開する、魅力的なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-09-27T14:38:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。