論文の概要: Private Decentralized Optimization with Noise Reduction and Bias Correction

• arxiv url: http://arxiv.org/abs/2609.27658v1
• Date: Wed, 23 Sep 2026 10:27:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.976913
• Title: Private Decentralized Optimization with Noise Reduction and Bias Correction
• Title（参考訳）: 雑音低減とバイアス補正を併用したプライベート分散最適化
• Abstract要約: プライベートな分散学習は、異種データの下でのサンプリングノイズ、プライバシノイズ、分散バイアスの影響を受けます。 これらの問題に対処するために、PDO(Private Recursive Decentralized Optimization)を提案する。
• 参考スコア（独自算出の注目度）: 9.109603156535973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Private decentralized learning is affected by sampling noise, privacy noise, and decentralized bias under heterogeneous data. We propose Private Recursive Decentralized Optimization (PRDO). PRDO uses recursive estimation with same-batch gradient differences to reduce estimation errors caused by sampling and privacy noise, while its Exact Diffusion component corrects decentralized bias arising from data heterogeneity. Our analysis establishes a nonconvex convergence bound without assuming uniformly bounded data heterogeneity across nodes. It further gives a sufficient condition under which recursive gradient differences yield strictly lower query sensitivity than private Exact Diffusion, together with an example that rigorously satisfies this condition. Experiments show improved accuracy over the evaluated baselines.
• Abstract（参考訳）: プライベートな分散学習は、異種データの下でのサンプリングノイズ、プライバシノイズ、分散バイアスの影響を受けます。 本稿では,Private Recursive Decentralized Optimization (PRDO)を提案する。 PRDOは、同一バッチ勾配差による再帰的推定を用いてサンプリングとプライバシノイズによる推定誤差を低減し、Exact Diffusionコンポーネントはデータの不均一性に起因する分散バイアスを補正する。 解析により,ノード間の一様有界なデータ不均一性を仮定することなく,非凸収束が確立される。 さらに、再帰的な勾配差がプライベートなExact Diffusionよりも厳密なクエリ感度をもたらす十分条件と、この条件を厳格に満足する例を与える。 評価基準値よりも精度が向上した。

関連論文リスト

• Locally Private Inference for Riemannian Stochastic Optimization [4.439342266417551]
  我々は,各観察対象が異なる参加者に属する場合,多様体値の個体群最小化器を推定する。 我々は、ポイント推定に使用する同じプライベートメッセージから分散を推定するために対称ペア回帰を導入する。 NHANESmetricデータへの応用は、主体サイズ方向のプライベートな推定を示す。
  論文  参考訳（メタデータ） (2026-09-18T23:37:49Z)
• PosteriorBench: From Point Estimates to Posterior Matching in Evaluating Generative Inverse Solvers [58.87583368961845]
  PosteriorBenchは、生成的逆解器の分布精度を評価するためのベンチマークである。 ダーシーフローの逆転、ポアソン源の回復、炭素捕獲と貯蔵、光輸送物質推論の4つの物理に基づく逆問題を評価する。
  論文  参考訳（メタデータ） (2026-09-17T17:54:12Z)
• Kernel-Smoothed Scores for Denoising Diffusion: A Bias-Variance Study [3.265950484493743]
  拡散モデルは暗記しがちである。 スコアの正規化は、トレーニングデータセットのサイズを増やすのと同じ効果がある。 この視点は、拡散をデノナイズする2つの規則化機構を強調する。
  論文  参考訳（メタデータ） (2025-05-28T20:22:18Z)
• Density-Aware Noise Mechanisms for Differential Privacy on Riemannian Manifolds via Conformal Transformation [1.5632754424046598]
  共形変換に基づく密度認識型差分プライバシー機構を開発した。 我々は,不均一な多様体設定におけるプライバシ・ユーティリティのトレードオフを大幅に改善することが実証された。
  論文  参考訳（メタデータ） (2025-04-29T17:05:55Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Distributionally Robust Local Non-parametric Conditional Estimation [22.423052432220235]
  非パラメトリックな局所推定を生成する分布安定な新しい推定器を提案する。 一般には難解であるにもかかわらず、局所推定器は凸最適化によって効率的に見つけることができることを示す。 合成およびMNISTデータセットを用いた実験は、この新しいクラスの推定器の競合性能を示している。
  論文  参考訳（メタデータ） (2020-10-12T00:11:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。