論文の概要: Alignment Defends LLMs from Property Inference Attacks

• arxiv url: http://arxiv.org/abs/2606.10217v1
• Date: Mon, 08 Jun 2026 22:15:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.212809
• Title: Alignment Defends LLMs from Property Inference Attacks
• Title（参考訳）: アライメントはプロパティ推論攻撃からLLMを防御する
• Authors: Pengrun Huang, Chhavi Yadav, Ruihan Wu, Kamalika Chaudhuri,
• Abstract要約: 大規模言語モデルにおけるプロパティ推論攻撃の軽減のためのアライメントに基づく防御手法を提案する。 提案手法は,トレーニングデータを変更することなく,トレーニング後のアライメントによる目標特性比に対するモデルの出力分布を再現する。
• 参考スコア（独自算出の注目度）: 32.582793399987274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly fine-tuned on domain-specific datasets that may contain sensitive, dataset-level properties. Recent work has shown that such dataset-level information can be effectively extracted through property inference attacks, posing a confidentiality risk. Existing defenses against these attacks primarily operate by modifying the training data distribution and hence require access to the original data and retraining the model, limiting their applicability to settings where data is unavailable or models are already deployed. In this work, we propose alignment-based defenses for mitigating property inference attacks in LLMs. Our approach reshapes the model's output distribution towards a target property ratio via post-training alignment, without modifying the training data. In particular, we adapt two widely used RLHF frameworks--Direct Preference Optimization (DPO) and Group Relative Policy Optimization (GRPO)--as our defenses by constructing preference pairs and defining a specific reward function respectively. Through comprehensive experiments, we show that our alignment based defenses effectively mitigate property inference attacks while maintaining a strong utility confidentiality tradeoff.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、機密性の高いデータセットレベルのプロパティを含む可能性のある、ドメイン固有のデータセットに微調整されることが増えている。 最近の研究は、そのようなデータセットレベルの情報をプロパティ推論攻撃によって効果的に抽出できることを示し、機密性リスクを生じさせている。 これらの攻撃に対する既存の防御は、主にトレーニングデータディストリビューションを変更して運用するため、元のデータにアクセスし、モデルを再トレーニングする必要がある。 本研究では,LLMにおける特性推論攻撃の軽減を目的としたアライメントに基づく防御手法を提案する。 提案手法は,トレーニングデータを変更することなく,トレーニング後のアライメントによる目標特性比に対するモデルの出力分布を再現する。 特に、我々は2つの広く使われているRLHFフレームワーク、DPO(Direct Preference Optimization)とGRPO(Group Relative Policy Optimization)を適用する。 総合的な実験を通して、アライメントに基づく防御は、強力なユーティリティシークレット性トレードオフを維持しながら、プロパティ推論攻撃を効果的に軽減することを示す。

関連論文リスト

• Adaptive Defense against Harmful Fine-Tuning for Large Language Models via Bayesian Data Scheduler [67.24175911858312]
  有害な微調整は、大規模な言語モデルのための微調整・アズ・ア・サービスに重大な安全性のリスクをもたらす。 Bayesian Data Scheduler (BDS) は、アタックシミュレーションを必要としない適応型チューニングステージ防衛戦略である。 BDSは、微調整データセットとアライメントデータセットに基づいて、各データポイントの安全属性の後方分布を学習する。
  論文  参考訳（メタデータ） (2025-10-31T04:49:37Z)
• A Vision-Language Pre-training Model-Guided Approach for Mitigating Backdoor Attacks in Federated Learning [43.847168319564844]
  視覚言語事前学習モデルのゼロショット学習機能を利用したFLバックドアディフェンスフレームワークCLIP-Fedを提案する。 本計画では, 防衛効果に課される非IIDの限界を克服し, 事前集約・後防衛戦略を統合する。
  論文  参考訳（メタデータ） (2025-08-14T03:39:54Z)
• Can We Infer Confidential Properties of Training Data from LLMs? [32.582793399987274]
  大規模言語モデル(LLM)のプロパティ推論を評価するベンチマークタスクであるPropInferを紹介する。 ChatDoctorデータセット上に構築されたベンチマークには、さまざまなプロパティタイプとタスク設定が含まれています。 本稿では,単語周波数信号を利用したプロンプトベース生成攻撃とシャドウモデル攻撃の2つを提案する。
  論文  参考訳（メタデータ） (2025-06-12T05:42:06Z)
• MISLEADER: Defending against Model Extraction with Ensembles of Distilled Models [56.09354775405601]
  モデル抽出攻撃は、クエリアクセスを通じてブラックボックスモデルの機能を複製することを目的としている。 既存のディフェンスでは、アタッカークエリにはオフ・オブ・ディストリビューション(OOD)サンプルがあることを前提としており、不審な入力を検出し破壊することができる。 OOD仮定に依存しない新しい防衛戦略であるMISLEADERを提案する。
  論文  参考訳（メタデータ） (2025-06-03T01:37:09Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  機密情報を含む匿名化は、幅広いアプリケーションにとって不可欠である。 既存の技術は、大規模言語モデルの再識別能力の新たな課題に直面している。 本稿では,プライバシ評価器,ユーティリティ評価器,最適化コンポーネントの3つの重要なコンポーネントで構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Property Inference Attacks Against GANs [19.443816794076763]
  本稿では,GAN(Generative Adversarial Network)に対する最初のトレーニングデータセット特性推論攻撃を提案する。 プロパティ推論攻撃が成功すれば、敵はターゲットのGANのトレーニングデータセットについて余分な知識を得ることができる。 我々は,全ブラックボックス設定と部分ブラックボックス設定を含む2つの攻撃シナリオに合わせて調整可能な汎用アタックパイプラインを提案する。
  論文  参考訳（メタデータ） (2021-11-15T08:57:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。