論文の概要: Square$χ$PO: Differentially Private and Robust $χ^2$-Preference Optimization in Offline Direct Alignment
- arxiv url: http://arxiv.org/abs/2505.21395v1
- Date: Tue, 27 May 2025 16:23:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-28 17:05:58.7966
- Title: Square$χ$PO: Differentially Private and Robust $χ^2$-Preference Optimization in Offline Direct Alignment
- Title（参考訳）: 正方形正方形正方形:正方形直交における差分プライベートおよびロバスト型正方形正方形正方形正方形正方形最適化
- Authors: Xingyu Zhou, Yulian Wu, Wenqian Weng, Francesco Orabona,
- Abstract要約: Square$chi$PO は $chi$PO への単純な一行変更であり、標準的なログロスは確率よりも新しい二乗損失に置き換えられる。
ラベルプライバシのローカルモデルでは、Square$chi$POは、単一政治の集中度に基づいて最適なレートを達成する最初のアルゴリズムである。
また、Square$chi$POは、一般的な嗜好モデルのシナリオを扱うために容易に拡張できることを示す。
- 参考スコア（独自算出の注目度）: 12.068124524003563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we theoretically study the offline alignment of language models with human preference feedback, under both preference label corruption and privacy protections. To this end, we propose Square$\chi$PO, a simple one-line change to $\chi$PO where the standard log-loss is replaced by a new square loss over probability. Thanks to the inherent properties of this new loss, we have advanced the state-of-the-art of differentially private and robust offline direct alignment. Specifically, for the local model of label privacy, Square$\chi$PO is the first algorithm that attains an optimal rate based on single-policy concentrability even with general function approximations. It also gives the first result under the central model of privacy protection over both prompts (responses) and labels. On the robustness side against Huber label corruption, Square$\chi$PO is the first alignment method that has a meaningful theoretical guarantee under general function approximations. More importantly, Square$\chi$PO can address privacy protection and corruption simultaneously, where an interesting separation is observed, implying that the order of privacy and corruption matters. Furthermore, we show that Square$\chi$PO can also be easily extended to handle the scenario of the general preference model with state-of-the-art guarantees under corruption and privacy. Last but not least, all of our theoretical guarantees enjoy a unified analysis, building upon a new result on the generalization error bounds of least-square regression under corruption and privacy constraints, which we believe is of independent interest to the community.
- Abstract（参考訳）: 本稿では,言語モデルと人間の嗜好フィードバックのオフラインアライメントを,嗜好ラベルの破損とプライバシ保護の両面から理論的に検討する。
この目的のために、Square$\chi$POを提案する。これは、標準的なログロスを新しい2乗損失に置き換える、単純な1行の$\chi$POへの変更である。
この新たな損失の固有の性質のおかげで、微分プライベートかつロバストなオフラインダイレクトアライメントの最先端技術が進歩した。
具体的には、ラベルプライバシのローカルモデルにおいて、Square$\chi$POは、一般的な関数近似でさえ単一政治の集中度に基づいて最適なレートを達成する最初のアルゴリズムである。
また、プロンプト(応答)とラベルの両方に対するプライバシー保護という中心的なモデルの下で、最初の結果を与える。
ハマーラベルの破損に対するロバスト性について、Square$\chi$POは一般関数近似の下で有意義な理論的保証を持つ最初のアライメント法である。
さらに重要なのは、Square$\chi$POはプライバシー保護と汚職を同時に扱うことができることだ。
さらに、Square$\chi$POは、汚職やプライバシの下での最先端保証による一般的な嗜好モデルのシナリオに容易に対応できることを示す。
最後に重要なことは、我々の理論的保証はすべて統一的な分析を楽しみ、汚職とプライバシーの制約の下で最小二乗回帰の一般化エラー境界の上に新しい結果を構築します。
関連論文リスト
- A Unified Theoretical Analysis of Private and Robust Offline Alignment: from RLHF to DPO [13.183559074319277]
本稿では,オフラインアライメントにおけるノイズラベルの影響を理論的に検討する。
異なるプライバシー破壊シナリオ下では、人間のフィードバックからの強化学習と直接選好最適化の両方を総合的に分析する。
われわれの発見は、プライバシーのみまたは汚職のみのシナリオ下でのオフラインアライメントにおける最先端の理論結果も前進させる。
論文 参考訳（メタデータ） (2025-05-21T16:07:47Z) - Optimized Tradeoffs for Private Prediction with Majority Ensembling [59.99331405291337]
本稿では,データ依存型ランダム化応答行列(DaRRM)アルゴリズムを提案する。
DaRRMはデータ依存ノイズ関数$gamma$でパラメータ化され、全てのプライベートアルゴリズムのクラスに対して効率的なユーティリティ最適化を可能にする。
本稿では,DARRMが共通ベースラインよりも2倍のプライバシゲインを,固定ユーティリティで確実に享受していることを示す。
論文 参考訳（メタデータ） (2024-11-27T00:48:48Z) - A Generalized Shuffle Framework for Privacy Amplification: Strengthening Privacy Guarantees and Enhancing Utility [4.7712438974100255]
パーソナライズされたプライバシパラメータで$(epsilon_i,delta_i)$-PLDP設定をシャッフルする方法を示す。
shuffled $(epsilon_i,delta_i)$-PLDP process approximately saves $mu$-Gaussian Differential Privacy with mu = sqrtfrac2sum_i=1n frac1-delta_i1+eepsilon_i-max_ifrac1-delta_i1+e
論文 参考訳（メタデータ） (2023-12-22T02:31:46Z) - Differentially Private Domain Adaptation with Theoretical Guarantees [46.37771025567305]
多くのアプリケーションでは、ラベル付きデータの処分におけるラベル付きデータはプライバシー上の制約を受けており、比較的制限されている。
これは、パブリックソースからプライベートターゲットドメインへのドメイン適応を監督する現代の問題である。
我々は、理論的な学習保証の恩恵を受けるために、一般の学習者を利用する。
論文 参考訳（メタデータ） (2023-06-15T04:03:06Z) - Rethinking Disclosure Prevention with Pointwise Maximal Leakage [36.3895452861944]
本稿では,秘密の$X$の低エントロピー機能の価値を開示し,実用性を実現するユーティリティとプライバシの一般モデルを提案する。
我々は、大衆の意見に反して、有意義な推論によるプライバシー保証を提供することを証明している。
PMLベースのプライバシは互換性があることを示し、差分プライバシーのような既存の概念に対する洞察を提供する。
論文 参考訳（メタデータ） (2023-03-14T10:47:40Z) - Breaking the Communication-Privacy-Accuracy Tradeoff with
$f$-Differential Privacy [51.11280118806893]
サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。
有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。
より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
論文 参考訳（メタデータ） (2023-02-19T16:58:53Z) - Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive
Privacy Analysis and Beyond [57.10914865054868]
垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。
我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
論文 参考訳（メタデータ） (2022-07-19T05:47:30Z) - Smooth Anonymity for Sparse Graphs [69.1048938123063]
しかし、スパースデータセットを共有するという点では、差分プライバシーがプライバシのゴールドスタンダードとして浮上している。
本研究では、スムーズな$k$匿名性(スムーズな$k$匿名性)と、スムーズな$k$匿名性(スムーズな$k$匿名性)を提供する単純な大規模アルゴリズムを設計する。
論文 参考訳（メタデータ） (2022-07-13T17:09:25Z) - Privacy Amplification via Shuffling for Linear Contextual Bandits [51.94904361874446]
ディファレンシャルプライバシ(DP)を用いた文脈線形バンディット問題について検討する。
プライバシのシャッフルモデルを利用して,JDP と LDP のプライバシ/ユーティリティトレードオフを実現することができることを示す。
以上の結果から,ローカルプライバシを保ちながらシャッフルモデルを活用することで,JDPとDPのトレードオフを得ることが可能であることが示唆された。
論文 参考訳（メタデータ） (2021-12-11T15:23:28Z) - Output Perturbation for Differentially Private Convex Optimization with
Improved Population Loss Bounds, Runtimes and Applications to Private
Adversarial Training [12.386462516398469]
強力な過剰なリスク境界を提供する効率的で実装が容易な差分プライベート(DP)アルゴリズムを見つけることは、現代の機械学習において重要な問題である。
我々は、滑らかさと強い凸性の存在下で、最もよく知られた$(epsilon, 0)$-DP人口損失境界と最速ランタイムを提供する。
我々はこの理論を2つの学習フレームワーク、傾きERMと逆学習フレームワークに適用する。
論文 参考訳（メタデータ） (2021-02-09T08:47:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。