論文の概要: Improved Bounds for Private and Robust Alignment
- arxiv url: http://arxiv.org/abs/2512.23816v1
- Date: Mon, 29 Dec 2025 19:20:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-01 23:27:28.183294
- Title: Improved Bounds for Private and Robust Alignment
- Title（参考訳）: プライベートアライメントとロバストアライメントのための改善された境界
- Authors: Wenqian Weng, Yi He, Xingyu Zhou,
- Abstract要約: 理論的観点から,言語モデルの私的かつ堅牢なアライメントについて検討する。
プライバシの制約や敵の汚職の対象となる選好ラベルについて検討する。
プライバシのみの設定では、MLEスタイルのアルゴリズムでログの損失がほぼ最適であることを示す。
- 参考スコア（独自算出の注目度）: 10.241010106616393
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we study the private and robust alignment of language models from a theoretical perspective by establishing upper bounds on the suboptimality gap in both offline and online settings. We consider preference labels subject to privacy constraints and/or adversarial corruption, and analyze two distinct interplays between them: privacy-first and corruption-first. For the privacy-only setting, we show that log loss with an MLE-style algorithm achieves near-optimal rates, in contrast to conventional wisdom. For the joint privacy-and-corruption setting, we first demonstrate that existing offline algorithms in fact provide stronger guarantees -- simultaneously in terms of corruption level and privacy parameters -- than previously known, which further yields improved bounds in the corruption-only regime. In addition, we also present the first set of results for private and robust online alignment. Our results are enabled by new uniform convergence guarantees for log loss and square loss under privacy and corruption, which we believe have broad applicability across learning theory and statistics.
- Abstract（参考訳）: 本稿では,オフラインとオンラインの両方の設定における最適度差の上限を設定することによって,理論的観点から言語モデルのプライベートかつロバストなアライメントを考察する。
プライバシ優先と汚職優先という2つの異なる相互作用を,プライバシ優先と汚職優先の2つで分析する。
プライバシのみの設定では、従来の知恵とは対照的に、MLEスタイルのアルゴリズムによるログ損失がほぼ最適であることを示す。
共同のプライバシーと腐敗の状況において、我々は、既存のオフラインアルゴリズムが、汚職レベルとプライバシパラメータの両面から同時に、より強力な保証を提供することを示した。
さらに、プライベートかつロバストなオンラインアライメントのための最初の結果も提示する。
我々の結果は、新たな統一収束保証により、プライバシーと汚職の下でのログ損失と正方形損失が保証され、学習理論と統計学に広く適用可能であると我々は信じている。
関連論文リスト
- Keeping a Secret Requires a Good Memory: Space Lower-Bounds for Private Algorithms [67.94856074923571]
本稿では,マルチプレイヤー通信ゲームに基づく新しい証明手法を提案する。
本稿では,このコミュニケーションゲームに勝つためには,過剰なユーザ数に比例した情報伝達が必要であることを示す。
このコミュニケーション理論の手法は幅広い問題のクラスに一般化し、プライベートな中央値、量子化値、最大選択値の下位境界を導出することを示す。
論文 参考訳（メタデータ） (2026-02-12T17:49:07Z) - Fairness Meets Privacy: Integrating Differential Privacy and Demographic Parity in Multi-class Classification [6.28122931748758]
差分プライバシーは、公平性保証に最小限の影響を与える公平性向上パイプラインに統合可能であることを示す。
我々はDP2DPと呼ばれるポストプロセッシングアルゴリズムを設計し、人口統計と差分プライバシーの両方を強制する。
分析の結果,我々のアルゴリズムは,文献から得られる最良な非私的手法と基本的に同じ割合で,その人口的平等目標に向かって収束していることが判明した。
論文 参考訳（メタデータ） (2025-11-24T08:31:02Z) - DP-NCB: Privacy Preserving Fair Bandits [7.443474354626665]
そこで我々は,DP-NCB(Disfferially Private Nash Confidence Bound)という新しいアルゴリズムフレームワークを紹介した。
同時に$epsilon$-differentialのプライバシを保証し、既知の下位境界を対数的要素まで一致させて、オーダー最適化のNash後悔を実現する。
われわれの結果は、プライバシー保護と公正の両方を兼ね備えた帯域幅アルゴリズムを設計するための原則的な基盤を提供する。
論文 参考訳（メタデータ） (2025-08-05T18:34:00Z) - Square$χ$PO: Differentially Private and Robust $χ^2$-Preference Optimization in Offline Direct Alignment [12.068124524003563]
Square$chi$PO は $chi$PO への単純な一行変更であり、標準的なログロスは確率よりも新しい二乗損失に置き換えられる。
ラベルプライバシのローカルモデルでは、Square$chi$POは、単一政治の集中度に基づいて最適なレートを達成する最初のアルゴリズムである。
また、Square$chi$POは、一般的な嗜好モデルのシナリオを扱うために容易に拡張できることを示す。
論文 参考訳（メタデータ） (2025-05-27T16:23:24Z) - A Unified Theoretical Analysis of Private and Robust Offline Alignment: from RLHF to DPO [13.183559074319277]
本稿では,オフラインアライメントにおけるノイズラベルの影響を理論的に検討する。
異なるプライバシー破壊シナリオ下では、人間のフィードバックからの強化学習と直接選好最適化の両方を総合的に分析する。
われわれの発見は、プライバシーのみまたは汚職のみのシナリオ下でのオフラインアライメントにおける最先端の理論結果も前進させる。
論文 参考訳（メタデータ） (2025-05-21T16:07:47Z) - Enhancing Feature-Specific Data Protection via Bayesian Coordinate Differential Privacy [55.357715095623554]
ローカル微分プライバシー(LDP)は、ユーザーが外部の関係者を信頼することなく、強力なプライバシー保証を提供する。
本稿では,ベイジアン・フレームワークであるベイジアン・コーディネート・ディファレンシャル・プライバシ(BCDP)を提案する。
論文 参考訳（メタデータ） (2024-10-24T03:39:55Z) - Convergent Differential Privacy Analysis for General Federated Learning: the $f$-DP Perspective [57.35402286842029]
フェデレートラーニング(Federated Learning, FL)は、ローカルプライバシを重視した効率的な協調トレーニングパラダイムである。
ディファレンシャルプライバシ(DP)は、私的保護の信頼性を捕捉し、保証するための古典的なアプローチである。
論文 参考訳（メタデータ） (2024-08-28T08:22:21Z) - TernaryVote: Differentially Private, Communication Efficient, and
Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。
提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
論文 参考訳（メタデータ） (2024-02-16T16:41:14Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳（メタデータ） (2023-05-24T13:44:02Z) - On Differentially Private Federated Linear Contextual Bandits [9.51828574518325]
我々は、差分プライバシーの下で、クロスサイロフェデレーション線形文脈帯域問題(LCB)を考える。
現状の3つの課題は, (i) 主張されたプライバシ保護の失敗, (ii) ノイズの計算ミスによる不正確な後悔,である。
我々は,信頼されたサーバを使わずに,アルゴリズムがほぼ最適であることを示す。
論文 参考訳（メタデータ） (2023-02-27T16:47:49Z) - Smooth Anonymity for Sparse Graphs [69.1048938123063]
しかし、スパースデータセットを共有するという点では、差分プライバシーがプライバシのゴールドスタンダードとして浮上している。
本研究では、スムーズな$k$匿名性(スムーズな$k$匿名性)と、スムーズな$k$匿名性(スムーズな$k$匿名性)を提供する単純な大規模アルゴリズムを設計する。
論文 参考訳（メタデータ） (2022-07-13T17:09:25Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳（メタデータ） (2020-12-14T18:59:24Z) - Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。
まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。
そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-09-18T20:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。