論文の概要: StraightDP: Geometry-Aware Differential Privacy for Rectified-Flow Transformers
- arxiv url: http://arxiv.org/abs/2607.29100v1
- Date: Fri, 31 Jul 2026 07:27:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.644309
- Title: StraightDP: Geometry-Aware Differential Privacy for Rectified-Flow Transformers
- Title（参考訳）: StraightDP: 整流変圧器の幾何学的微分プライバシー
- Abstract要約: テキスト条件付き生成モデルの差分プライベート(DP)トレーニングは、強力なプライバシで実用上の限界を被る。
StraightDPは、整流の幾何学を通してこの問題を利用する。
小さな予算シェアは、白く塗られたクラス条件のモーメントを一度放出し、重量に蒸留したり、サンプリング時に注入したりする。
放出されたモーメントは、SD3-mediumに移植され、サンプリングタイムインジェクションがDP-LoRAトレーニングを予算のごく一部で上回っている。
- 参考スコア（独自算出の注目度）: 15.912447604301873
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentially private (DP) training of text-conditioned generative models suffers a utility cliff at strong privacy. We revisit this problem through the geometry of rectified flows: along the straight interpolation between noise and data, the Bayes-optimal velocity is governed to leading order at the noise end by a few class-conditional moments, and increasingly sample-specific structure matters toward the data end. StraightDP exploits this heterogeneity end to end. A small budget share releases whitened class-conditional moments once, to be distilled into the weights or injected at sampling time. The rest is spent by pre-declared DP-SGD toward the data end, beyond the moments' reach. At $\varepsilon=1$ on MNIST, the released moments alone already attain $0.76$ downstream accuracy with prototype-like samples and an FID of $237$, and uniform DP-SGD attains $0.21$. The pipeline built on the release reaches $0.81$ accuracy at FID $56$ in a public latent space. Constraining per-token stream norms of the multimodal backbone leaves the pretraining loss unchanged yet improves downstream accuracy in the extreme-noise pixel-space regime, and its accuracy effect becomes monotonically more favorable as privacy strengthens. The released moments also port to frozen SD3-medium, where sampling-time injection beats DP-LoRA training at a fraction of the budget.
- Abstract（参考訳）: テキスト条件付き生成モデルの差分プライベート(DP)トレーニングは、強力なプライバシで実用上の限界を被る。
ノイズとデータの間の直線的補間に沿って、ベイズ最適速度は、いくつかのクラス条件のモーメントによってノイズ終端の先頭に支配され、データ終端に向けたサンプル固有の構造がますます重要になる。
StraightDPはこの不均一性を終末に活用する。
小さな予算シェアは、白く塗られたクラス条件のモーメントを一度放出し、重量に蒸留したり、サンプリング時に注入したりする。
残りは、事前宣言されたDP-SGDがデータ終端に向かって、モーメントの範囲を超えて使われる。
MNISTの$\varepsilon=1$で、リリースされた瞬間だけで、プロトタイプのようなサンプルとFIDが237ドル、均一なDP-SGDが0.21ドルに達している。
リリースで構築されたパイプラインは、パブリックなラテントスペースでFID 566$の精度で0.81$に達する。
マルチモーダルバックボーンのトーケンストリーム当たりの規範の制約は、事前訓練された損失は、極雑音のピクセル空間状態における下流の精度を改善させるが、プライバシーが強化されるにつれて、その精度は単調に改善される。
放出されたモーメントは、SD3-mediumに移植され、サンプリングタイムインジェクションがDP-LoRAトレーニングを予算のごく一部で上回っている。
関連論文リスト
- Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。
我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。
この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
論文 参考訳（メタデータ） (2026-08-01T13:49:46Z) - Deep Learning under Fractional-Order Differential Privacy [0.0]
個人差分勾配降下(DP-SGD)は、プライバシ重み学習の標準的なアプローチである。
ガウスノイズが付加される前に、この現在のみのクエリを置き換えるメカニズムを提案する。
FO-DP-SGDは、プライベート最適化における長期記憶効果を研究するためのフレームワークを提供する。
論文 参考訳（メタデータ） (2026-05-11T02:29:13Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD [7.787109481104569]
本稿では,DP-SGDを$f$差分プライバシーフレームワークで解析する。
小さい分離を強制することはノイズ乗算器$$に厳格な下限を課し、達成可能な効用を直接制限することを証明する。
実験により, この境界による雑音レベルは, 現実的な訓練環境において, 高い精度で劣化することが確認された。
論文 参考訳（メタデータ） (2026-01-15T09:50:36Z) - Communication Efficient, Differentially Private Distributed Optimization using Correlation-Aware Sketching [17.117393709226903]
各クライアントはラウンド毎に$d$Dの勾配を送信し、DPノイズの大きさは$d$で増加する。
DOMEは分散化されたDP最適化フレームワークで、各クライアントは、プライベート化とセキュアアグリゲーションの前に、プロジェクトグラデーションを$mathbbRk$に拡張するためのコンパクトなスケッチを維持できる。
これにより、ラウンドごとの通信が$d$から$k$に減少し、勾配近似の平均2乗誤差が$sigma2 k$になる。
論文 参考訳（メタデータ） (2025-07-04T12:54:21Z) - Better Rates for Private Linear Regression in the Proportional Regime via Aggressive Clipping [19.186034457189162]
一般的なアプローチは、サンプルごとの勾配の予想基準よりもクリッピング定数をはるかに大きく設定することである。
しかし、分析を単純化する一方で、これは経験的証拠がパフォーマンスを最適化することを示唆しているものとは対照的である。
我々の研究は、クリッピングが頻繁に起こる体制において、理論と実践のギャップを埋める。
論文 参考訳（メタデータ） (2025-05-22T07:34:27Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳（メタデータ） (2025-05-19T07:32:56Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳（メタデータ） (2022-10-07T08:44:35Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳（メタデータ） (2022-05-06T01:22:20Z) - Frequency Estimation Under Multiparty Differential Privacy: One-shot and
Streaming [10.952006057356714]
プライバシと通信の制約下での周波数推定の基本的問題について検討し,そのデータを$k$のパーティ間で分散する。
私たちは、ローカルディファレンシャルプライバシ(LDP)と(分散)ディファレンシャルプライバシよりも一般的なマルチパーティディファレンシャルプライバシ(MDP)のモデルを採用しています。
我々のプロトコルは、より厳密な2つの制約によって許容可能な最適性(対数因子まで)を達成する。
論文 参考訳（メタデータ） (2021-04-05T08:15:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。