論文の概要: Differential Privacy Protected Preference Alignment on Survey Derived Data

• arxiv url: http://arxiv.org/abs/2610.16458v1
• Date: Mon, 12 Oct 2026 09:18:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 23:07:09.919175
• Title: Differential Privacy Protected Preference Alignment on Survey Derived Data
• Title（参考訳）: 調査導出データに基づく識別プライバシ保護された選好アライメント
• Abstract要約: 優先度アライメントにより、言語モデルは人間の価値をよりよく反映できる。 本稿では,世界価値調査から得られたアンケートデータに基づくプライバシー保護アライメントについて検討する。
• 参考スコア（独自算出の注目度）: 13.881811061538324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preference alignment enables language models to better reflect human values, but the preference data contains sensitive information, especially when derived from surveys about political beliefs, social norms, religion, gender attitudes, and cultural values. This paper studies privacy-preserving alignment on questionnaire-derived data from the World Values Survey, where supervision takes the form of ordinal labels rather than standard pairwise rankings. Existing efforts mainly focus on general privacy protections upon model training, while data-specific methods for survey data remain unexplored. We first show the vulnerability of aligned models, then formulate the task as rating prediction and introduce label differential privacy. Building on this formulation, we construct a differential private pipeline utilizing three privacy mechanisms: randomized response, exponential mechanism, and DP-SGD. Experiments show that simple label-level mechanisms outperform gradient-level methods, and proper aggregation function for preprocessing also make large contribution. The new fine-grained private comparison motivates explorations toward language model alignment with formal privacy guarantees.
• Abstract（参考訳）: 嗜好アライメントは言語モデルを人間の価値観をよりよく反映させるが、特に政治的信念、社会的規範、宗教、ジェンダーの態度、文化的価値観に関する調査から導かれる場合、選好データにはセンシティブな情報が含まれている。 本稿では,世界価値調査(World Values Survey)から得られたアンケートデータに基づくプライバシ保護アライメントについて検討する。 既存の取り組みは主にモデルトレーニングにおける一般的なプライバシ保護に重点を置いている。 まず、整列モデルの脆弱性を示し、次に評価予測としてタスクを定式化し、ラベルの差分プライバシーを導入する。 この定式化に基づいて,ランダム化応答,指数化機構,DP-SGDという3つのプライバシメカニズムを利用した差分プライベートパイプラインを構築した。 実験により、単純なラベルレベル機構は勾配レベル法よりも優れており、前処理のための適切なアグリゲーション関数も大きな貢献をすることが示された。 この新しい詳細なプライベート比較は、言語モデルと正式なプライバシー保証との整合性への探求を動機付けている。

関連論文リスト

• Private Direct Preference Optimization for LLM Alignment [77.56374641532715]
  直接選好最適化(DPO)は、人間の選好データを用いて大規模言語モデル(LLM)を調整するための標準手法である。 本稿では、DPOのためのラベルDPスタイルのプライバシー概念である嗜好プライバシを定式化する。 次に、大規模LLMトレーニングと互換性を維持しながら、好みのプライバシを強制するDPOの派生であるPrivDPOを設計する。
  論文  参考訳（メタデータ） (2026-08-05T16:51:02Z)
• Privacy-Preserving Reinforcement Learning from Human Feedback via Decoupled Reward Modeling [2.805986764620217]
  報酬学習のみに差分プライバシーを課すプライバシー保護フレームワークを提案する。 プライバシーは、通常の非私的統計誤差を超える付加的な用語に寄与していることを示す。 人為的HH-RLHFデータセットの実験は、既存の微分プライベートベースライン法よりも強いプライベートアライメント性能を示す。
  論文  参考訳（メタデータ） (2026-03-23T20:45:17Z)
• Challenges in Enabling Private Data Valuation [17.450381366291754]
  データアセスメント手法は、個々のトレーニング例がモデルの振る舞いにどのように貢献するかを定量化する。 評価スコアは、個人のデータがトレーニングに含まれていたか、異常な影響があったか、あるいはプロプライエタリなデータセットにどのような機密パターンが存在するかを明らかにすることができる。 プライバシーは基本的に、差分プライバシー(DP)の下でのバリュエーションユーティリティーと緊張関係にある
  論文  参考訳（メタデータ） (2026-02-27T22:21:14Z)
• On the MIA Vulnerability Gap Between Private GANs and Diffusion Models [51.53790101362898]
  GAN(Generative Adversarial Networks)と拡散モデルが高品質な画像合成のための主要なアプローチとして登場している。 差分自己生成モデルが直面するプライバシーリスクの統一的および実証的分析について述べる。
  論文  参考訳（メタデータ） (2025-09-03T14:18:22Z)
• Managing Correlations in Data and Privacy Demand [4.855689194518906]
  ユーザデータとプライバシ要求の相関が許された場合に,標準HDPフレームワークが不足していることが示される。 本稿では,ユーザデータとプライバシの嗜好を両立させる代替フレームワークであるAdd-Remove Heterogeneous Differential Privacy (AHDP)を提案する。
  論文  参考訳（メタデータ） (2025-09-02T22:03:13Z)
• Differentially Private Random Feature Model [47.35176457481132]
  プライバシを保存するカーネルマシンに対して,差分的にプライベートな特徴モデルを作成する。 本手法は,プライバシを保護し,一般化誤差を導出する。
  論文  参考訳（メタデータ） (2024-12-06T05:31:08Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
  DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。 プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
  論文  参考訳（メタデータ） (2022-11-18T11:39:03Z)
• Differentially Private Language Models for Secure Data Sharing [19.918137395199224]
  本稿では,生成言語モデルを個別に学習し,その結果を抽出する方法について述べる。 自然言語のプロンプトと新しいプロンプトミスマッチの損失を用いることで、高度に正確で流動的なテキストデータセットを作成できる。 我々は、我々の合成データセットが元のデータから情報を漏らさず、言語質が高いことを示す徹底的な実験を行う。
  論文  参考訳（メタデータ） (2022-10-25T11:12:56Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。