論文の概要: How Private are Language Models in Abstractive Summarization?

• arxiv url: http://arxiv.org/abs/2412.12040v2
• Date: Tue, 27 May 2025 11:23:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 14:37:19.07659
• Title: How Private are Language Models in Abstractive Summarization?
• Title（参考訳）: 抽象要約における言語モデルはどの程度プライベートか?
• Authors: Anthony Hughes, Ning Ma, Nikolaos Aletras,
• Abstract要約: 医療や法律などの機密ドメインでは、機密情報を保護することが重要である。 これは、医療報告や訴訟要約などの貴重なデータを共有する上での課題である。 プライベートでないソース文書から、どの程度プライバシ保護の要約を提供できるのか、まだ明らかな疑問である。
• 参考スコア（独自算出の注目度）: 36.801842863853715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In sensitive domains such as medical and legal, protecting sensitive information is critical, with protective laws strictly prohibiting the disclosure of personal data. This poses challenges for sharing valuable data such as medical reports and legal cases summaries. While language models (LMs) have shown strong performance in text summarization, it is still an open question to what extent they can provide privacy-preserving summaries from non-private source documents. In this paper, we perform a comprehensive study of privacy risks in LM-based summarization across two closed- and four open-weight models of different sizes and families. We experiment with both prompting and fine-tuning strategies for privacy-preservation across a range of summarization datasets including medical and legal domains. Our quantitative and qualitative analysis, including human evaluation, shows that LMs frequently leak personally identifiable information in their summaries, in contrast to human-generated privacy-preserving summaries, which demonstrate significantly higher privacy protection levels. These findings highlight a substantial gap between current LM capabilities and expert human expert performance in privacy-sensitive summarization tasks.
• Abstract（参考訳）: 医療や法律などの機密ドメインでは、機密情報の保護が重要であり、保護法は個人情報の開示を厳格に禁止している。 これは、医療報告や訴訟要約などの貴重なデータを共有する上での課題である。 言語モデル(LM)は、テキスト要約において高いパフォーマンスを示しているが、プライバシ保存の要約をプライベートでないソース文書からどの程度提供できるかについては、未解決の問題である。 本稿では、異なるサイズと家族の2つのオープンウェイトモデルと4つのオープンウェイトモデルにまたがる、LMに基づく要約におけるプライバシーリスクの包括的研究を行う。 医療分野や法律分野を含む一連の要約データセットを対象に,プライバシ保護のための迅速かつ微調整戦略を実験的に検討した。 人間の評価を含む定量的・定性的な分析は、人為的なプライバシー保護レベルが著しく高い人為的プライバシー保護サマリーとは対照的に、LMが個人を識別できる情報を要約中に頻繁にリークしていることを示している。 これらの知見は、プライバシーに敏感な要約タスクにおいて、現在のLM能力と熟練した人間専門家のパフォーマンスの間にかなりのギャップがあることを浮き彫りにしている。

関連論文リスト

• MAGPIE: A dataset for Multi-AGent contextual PrIvacy Evaluation [54.410825977390274]
  LLMエージェントのコンテキストプライバシを評価するための既存のベンチマークは、主にシングルターン、低複雑さタスクを評価する。 まず、15ドメインにわたる158のリアルタイムハイテイクシナリオからなるベンチマーク-MAGPIEを示す。 次に、コンテキスト的にプライベートなデータに対する理解と、ユーザのプライバシを侵害することなくコラボレーションする能力に基づいて、最先端のLCMを評価します。
  論文  参考訳（メタデータ） (2025-06-25T18:04:25Z)
• PrivaCI-Bench: Evaluating Privacy with Contextual Integrity and Legal Compliance [44.287734754038254]
  生成型大規模言語モデル(LLM)のコンテキストプライバシ評価ベンチマークであるPrivaCI-Benchを提案する。 本稿では,最近の推論モデルQwQ-32BとDeepseek R1を含む最新のLCMを評価した。 実験の結果、LLMは特定のコンテキスト内で重要なCIパラメータを効果的にキャプチャできるが、プライバシコンプライアンスのさらなる進歩が必要であることが示唆された。
  論文  参考訳（メタデータ） (2025-02-24T10:49:34Z)
• Multi-P$^2$A: A Multi-perspective Benchmark on Privacy Assessment for Large Vision-Language Models [65.2761254581209]
  LVLM(Large Vision-Language Models)21個のオープンソースと2個のクローズドソースのプライバシ保護機能の評価を行った。 Multi-P$2$Aに基づいて、21のオープンソースと2つのクローズドソースLVLMのプライバシ保護機能を評価する。 以上の結果から,現在のLVLMは一般にプライバシー侵害のリスクが高いことが明らかとなった。
  論文  参考訳（メタデータ） (2024-12-27T07:33:39Z)
• Membership Inference Attack against Long-Context Large Language Models [8.788010048413188]
  すべての情報を長いコンテキストに統合することで、センシティブな情報のリポジトリになる、と我々は主張する。 LCLMに適した6つのメンバシップ推論攻撃戦略を提案する。 LCLMがそのような会員情報を明らかにするのに有効な理由について検討する。
  論文  参考訳（メタデータ） (2024-11-18T09:50:54Z)
• How Privacy-Savvy Are Large Language Models? A Case Study on Compliance and Privacy Technical Review [15.15468770348023]
  プライバシ情報抽出(PIE)、法および規制キーポイント検出(KPD)、質問応答(QA)などのプライバシー関連タスクにおいて、大規模言語モデルの性能を評価する。 本稿では, BERT, GPT-3.5, GPT-4, カスタムモデルなど, プライバシコンプライアンスチェックや技術プライバシレビューの実行能力について検討する。 LLMは、プライバシーレビューの自動化と規制上の相違点の特定を約束する一方で、法律標準の進化に完全に準拠する能力において、大きなギャップが持続している。
  論文  参考訳（メタデータ） (2024-09-04T01:51:37Z)
• PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
  PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。 プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
  論文  参考訳（メタデータ） (2024-08-29T17:58:38Z)
• LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
  大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。 この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。 本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
  論文  参考訳（メタデータ） (2024-08-23T01:37:29Z)
• GoldCoin: Grounding Large Language Models in Privacy Laws via Contextual Integrity Theory [44.297102658873726]
  これまでの研究では、さまざまなプライバシー攻撃、防御、評価を狭義に定義されたパターンの中で探索することで、プライバシを研究する。 我々は,プライバシ違反を評価する司法法において,LLMを効果的に活用するための新しい枠組みであるGoldCoinを紹介した。 我々のフレームワークは、コンテキスト整合性の理論をブリッジとして活用し、関連するプライバシー法に基づく多数の合成シナリオを作成する。
  論文  参考訳（メタデータ） (2024-06-17T02:27:32Z)
• RL in Latent MDPs is Tractable: Online Guarantees via Off-Policy Evaluation [73.2390735383842]
  付加的な構造仮定を伴わずにLMDPのサンプル効率アルゴリズムを初めて導入する。 楽観的な探索アルゴリズムのほぼ最適保証を導出するためにどのように使用できるかを示す。 これらの結果は、LMDP以外の幅広い対話型学習問題、特に部分的に観察された環境において有用である。
  論文  参考訳（メタデータ） (2024-06-03T14:51:27Z)
• FABLES: Evaluating faithfulness and content selection in book-length summarization [55.50680057160788]
  本稿では,本書の忠実度と内容選択の大規模評価を行う。 LLMが生成した26冊のサマリーで作成した3,158冊の注釈のデータセットであるFABLESを5.2KUSDで収集する。 注釈の分析によると、ほとんどの不誠実な主張は出来事や登場人物の状態に関係しており、物語を無効にするために間接的推論を必要とする。
  論文  参考訳（メタデータ） (2024-04-01T17:33:38Z)
• On Protecting the Data Privacy of Large Language Models (LLMs): A Survey [35.48984524483533]
  LLM(Large Language Model)は、人間の言語を理解し、生成し、翻訳できる複雑な人工知能システムである。 LLMは大量のデータを処理して生成し、データプライバシを脅かす可能性がある。
  論文  参考訳（メタデータ） (2024-03-08T08:47:48Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Identifying and Mitigating Privacy Risks Stemming from Language Models: A Survey [43.063650238194384]
  大規模言語モデル(LLM)は,近年,大規模化と広範囲なトレーニングデータによるパフォーマンス向上を図っている。 機械学習モデルのトレーニングデータ記憶は、特にLLMに関して、モデルサイズに合わせてスケールする。 記憶されたテキストシーケンスは、LSMから直接リークされる可能性があり、データのプライバシに深刻な脅威をもたらす。
  論文  参考訳（メタデータ） (2023-09-27T15:15:23Z)
• Analyzing Leakage of Personally Identifiable Information in Language Models [13.467340359030855]
  言語モデル (LM) は, 文レベルのメンバシップ推論と再構築攻撃を通じて, トレーニングデータに関する情報を漏らすことが示されている。 スクレイビング技術は減少するが、PII漏れのリスクを防止しない。 ユーザーレベルのプライバシーを保証し、PIIの開示を防止するために設計された、差分プライバシーのようなアルゴリズムによる防御の程度は不明確である。
  論文  参考訳（メタデータ） (2023-02-01T16:04:48Z)
• How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
  DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。 プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
  論文  参考訳（メタデータ） (2022-11-18T11:39:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。