論文の概要: Differentially Private Relational Learning with Entity-level Privacy Guarantees

• arxiv url: http://arxiv.org/abs/2506.08347v1
• Date: Tue, 10 Jun 2025 02:03:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:41.065813
• Title: Differentially Private Relational Learning with Entity-level Privacy Guarantees
• Title（参考訳）: エンティティレベルのプライバシ保証による差分プライベートリレーショナルラーニング
• Authors: Yinan Huang, Haoteng Ying, Eli Chien, Rongzhe Wei, Pan Li,
• Abstract要約: 本研究は,形式的エンティティレベルDP保証を用いた関係学習の原則的枠組みを提案する。 本稿では,実体発生頻度に基づいてクリッピング閾値を変調する適応的勾配クリッピング方式を提案する。 これらの貢献により、プライバシー保証が保証されたリレーショナルデータに対して、DP-SGDの修正版が提供される。
• 参考スコア（独自算出の注目度）: 14.998303205215894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning with relational and network-structured data is increasingly vital in sensitive domains where protecting the privacy of individual entities is paramount. Differential Privacy (DP) offers a principled approach for quantifying privacy risks, with DP-SGD emerging as a standard mechanism for private model training. However, directly applying DP-SGD to relational learning is challenging due to two key factors: (i) entities often participate in multiple relations, resulting in high and difficult-to-control sensitivity; and (ii) relational learning typically involves multi-stage, potentially coupled (interdependent) sampling procedures that make standard privacy amplification analyses inapplicable. This work presents a principled framework for relational learning with formal entity-level DP guarantees. We provide a rigorous sensitivity analysis and introduce an adaptive gradient clipping scheme that modulates clipping thresholds based on entity occurrence frequency. We also extend the privacy amplification results to a tractable subclass of coupled sampling, where the dependence arises only through sample sizes. These contributions lead to a tailored DP-SGD variant for relational data with provable privacy guarantees. Experiments on fine-tuning text encoders over text-attributed network-structured relational data demonstrate the strong utility-privacy trade-offs of our approach. Our code is available at https://github.com/Graph-COM/Node_DP.
• Abstract（参考訳）: 個々のエンティティのプライバシ保護が最重要であるセンシティブなドメインでは、リレーショナルデータとネットワーク構造データによる学習がますます不可欠になっている。 差別化プライバシ(DP)は、プライバシのリスクを定量化する原則的なアプローチであり、プライベートモデルトレーニングの標準メカニズムとしてDP-SGDが登場している。 しかし、関係学習にDP-SGDを直接適用することは、2つの主要な要因により困難である。 i)エンティティは、しばしば複数の関係に参加し、その結果、高感度で制御が難しい。 (II)リレーショナルラーニングは一般的に、標準的なプライバシー増幅分析を適用不能にする多段階的、潜在的に結合(相互依存)なサンプリング手順を必要とする。 本研究は,形式的エンティティレベルDP保証を用いた関係学習の原則的枠組みを提案する。 本稿では、厳密な感度解析と、実体発生頻度に基づいてクリッピング閾値を変調する適応的な勾配クリッピング手法を提案する。 また、プライバシアンプリフィケーションの結果を結合サンプリングのトラクタブルサブクラスに拡張し、その依存はサンプルサイズによってのみ発生します。 これらの貢献により、プライバシー保証が保証されたリレーショナルデータに対して、DP-SGDの修正版が提供される。 テキスト分散ネットワーク構造化リレーショナルデータに対する微調整テキストエンコーダの実験は、我々のアプローチの強力なユーティリティとプライバシのトレードオフを示している。 私たちのコードはhttps://github.com/Graph-COM/Node_DPで利用可能です。

関連論文リスト

• Privacy-preserving Prompt Personalization in Federated Learning for Multimodal Large Language Models [12.406403248205285]
  フェデレート・プロンプト・パーソナライゼーション(FPP)は、データの均一性と局所的なオーバーフィッティングに対処するために開発された。 我々は、パーソナライゼーションとプライバシ保証を調和させるセキュアなFPPプロトコルSecFPPを提案する。 SecFPPは、プライバシ保護ベースラインと非プライバシ保護ベースラインの両方で著しく優れています。
  論文  参考訳（メタデータ） (2025-05-28T15:09:56Z)
• Privately Learning from Graphs with Applications in Fine-tuning Large Language Models [16.972086279204174]
  金融や医療といった繊細な分野のリレーショナルデータは、しばしば私的な情報を含んでいる。 DP-SGDのような既存のプライバシー保護手法は、関係学習には適していない。 トレーニング中にサンプル関係の依存関係を分離するプライバシー保護型関係学習パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:38:38Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Differentially Private Deep Model-Based Reinforcement Learning [47.651861502104715]
  形式的な差分プライバシー保証を備えたモデルベースRLアルゴリズムであるPriMORLを紹介する。 PriMORLはオフラインデータから環境の軌道レベルのDPモデルのアンサンブルを学習する。
  論文  参考訳（メタデータ） (2024-02-08T10:05:11Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
  DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。 プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
  論文  参考訳（メタデータ） (2022-11-18T11:39:03Z)
• On Privacy and Personalization in Cross-Silo Federated Learning [39.031422430404405]
  本研究では,クロスサイロ学習(FL)における差分プライバシーの適用について考察する。 平均正規化マルチタスク学習(MR-MTL)がクロスサイロFLの強力なベースラインであることを示す。 平均推定問題に対するMR-MTLの理論的評価とともに,競合する手法の徹底的な実証研究を行った。
  論文  参考訳（メタデータ） (2022-06-16T03:26:48Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)
• Secure Sum Outperforms Homomorphic Encryption in (Current) Collaborative Deep Learning [7.690774882108066]
  我々は、異なるデータ所有者のジョイントデータに基づいてニューラルネットワークをトレーニングする方法について議論し、各パーティの入力を秘密にしている。 より複雑で計算コストの低いセキュア和プロトコルは、共謀耐性と実行性の両方において優れた特性を示すことを示す。
  論文  参考訳（メタデータ） (2020-06-02T23:03:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。