論文の概要: Beyond Square Roots: Explicit Memory-Efficient Factorization for Multi-Epoch Private Learning

• arxiv url: http://arxiv.org/abs/2605.18379v1
• Date: Mon, 18 May 2026 13:25:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.629612
• Title: Beyond Square Roots: Explicit Memory-Efficient Factorization for Multi-Epoch Private Learning
• Title（参考訳）: 平方根を超えて:マルチエポックプライベートラーニングのためのメモリ効率の良い因子化
• Authors: Nikita P. Kalinin, Aki Rehn, Joel Daniel Andersson, Antti Honkela, Christoph H. Lampert,
• Abstract要約: 相関ノイズ機構は、微分プライベートモデルトレーニングの実用性を改善する最も有望なアプローチの一つである。 近年の研究では,相関行列のバンド構造を利用したバンド化逆分解法が開発されている。 両因子の統一的な一般化を提案する。
• 参考スコア（独自算出の注目度）: 20.989810016108837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Correlated-noise mechanisms are among the most promising approaches for improving the utility of differentially private model training, but rigorous guarantees require explicit, analyzable factorizations, and practical deployment requires memory efficiency. Recent works have developed banded inverse factorizations, which address both requirements by exploiting a banded structure in the correlation matrix. The bandwidth controls the size of the noise buffer used to correlate noise across iterations, and thus governs the tradeoff between utility and memory cost. Existing factorizations highlight this tradeoff: DP-$λ$CGD achieves high memory efficiency by using only a one-step noise buffer, but this limits its utility gains, while the banded inverse square root (BISR) factorization exploits larger correlation windows and is asymptotically optimal for large bandwidths but performs poorly at low bandwidths. We propose $γ$-BIFR, a unified generalization of both factorizations. In the low-memory, low-bandwidth regime, $γ$-BIFR significantly improves RMSE, amplified RMSE, and private training performance, while yielding tighter theoretical guarantees for multi-participation error in multi-epoch training.
• Abstract（参考訳）: 相関ノイズ機構は、微分プライベートモデルトレーニングの実用性を改善する最も有望なアプローチであるが、厳密な保証には明示的で分析可能な因子化が必要であり、実用的な展開にはメモリ効率が必要である。 近年の研究では、相関行列のバンド構造を利用して両方の要求に対処するバンド化逆分解法が開発されている。 帯域幅は、繰り返しにわたってノイズを相関付けるために使用されるノイズバッファのサイズを制御し、ユーティリティとメモリコストのトレードオフを管理する。 DP-$λ$CGDは1ステップのノイズバッファのみを使用することで高いメモリ効率を達成するが、バンド化逆2乗根(BISR)の分解は大きな相関窓を利用でき、漸近的に大きな帯域幅に最適であるが、低帯域幅では性能が劣る。 両分解の統一一般化である$γ$-BIFRを提案する。 低メモリかつ低帯域幅のシステムでは、$γ$-BIFRはRMSE、増幅RMSE、プライベートトレーニング性能を著しく向上し、マルチエポックトレーニングにおけるマルチパーティショニングエラーに対するより厳密な理論的保証を得た。

関連論文リスト

• Tackling Length Inflation Without Trade-offs: Group Relative Reward Rescaling for Reinforcement Learning [74.5532558466687]
  群 Relative Reward Rescaling (GR$3$) は、一般的な、連続かつ報酬に依存したゲーティング機構である。 GR$3$は、標準のGRPOに匹敵するトレーニングダイナミクスとダウンストリームのパフォーマンスを維持する。 それは長さのインフレーションを著しく軽減し、最先端の長周期正規化ベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-03-11T08:41:34Z)
• Enhanced-FQL($λ$), an Efficient and Interpretable RL with novel Fuzzy Eligibility Traces and Segmented Experience Replay [0.0]
  Enhanced-FQL($$)は、n-step fuzzy TDやfuzzyA($$)ベースラインと比較して、優れたサンプル効率と分散の低減を実現している。 フレームワーク固有の解釈可能性と計算効率と理論的収束保証が組み合わさって、安全クリティカルなアプリケーションに適している。
  論文  参考訳（メタデータ） (2026-01-07T20:59:18Z)
• Repulsor: Accelerating Generative Modeling with a Contrastive Memory Bank [65.00301565190824]
  mnameは、外部エンコーダを必要としない、プラグアンドプレイのトレーニングフレームワークである。 mnameは400kのステップでtextbf2.40 の最先端 FID を達成し、同等のメソッドを著しく上回っている。
  論文  参考訳（メタデータ） (2025-12-09T14:39:26Z)
• Back to Square Roots: An Optimal Bound on the Matrix Factorization Error for Multi-Epoch Differentially Private SGD [28.66960497912785]
  逆相関行列上にバンド構造を付加した新しい明示的因数分解法,Banded Inverse Square Root (BISR) を導入する。 BISRは、上界と下界をマッチングすることで、アナル最適誤差を達成する。
  論文  参考訳（メタデータ） (2025-05-17T19:41:44Z)
• The Larger the Merrier? Efficient Large AI Model Inference in Wireless Edge Networks [56.37880529653111]
  大規模計算モデル(LAIM)サービスの需要は、従来のクラウドベースの推論から、低レイテンシでプライバシ保護のアプリケーションのためのエッジベースの推論へのパラダイムシフトを推進している。 本稿では,事前学習したLAIMをデバイス上のサブモデルとサーバ上のサブモデルに分割して配置するLAIM推論方式について検討する。
  論文  参考訳（メタデータ） (2025-05-14T08:18:55Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• Scaling up the Banded Matrix Factorization Mechanism for Differentially Private ML [3.5534933448684134]
  近縁ノイズメカニズムは、大規模エポジロン小エピック訓練体制におけるDP-SGDの効果的な代替手段であることが証明されている。 現在の最先端のアプローチはDP-BandMFで、プライバシーの増幅とノイズ相関の利点を最適にバランスさせる。
  論文  参考訳（メタデータ） (2024-05-24T20:19:15Z)
• Efficient Heterogeneous Large Language Model Decoding with Model-Attention Disaggregation [15.35494431928751]
  トランスフォーマーベースの大規模言語モデル(LLM)は、生成タスクにおいて顕著なパフォーマンスを示すと同時に、現実のサービスにおいて大きな課題をもたらす。 LLMデコーディングの効率を高めるために,モデルアテンションデアグリゲーションを導入する。 分散ヘテロジニアスクラスタにモデルアテンションデアグリゲーションを組み込んだLLM推論システムであるLaminaを開発し,展開する。
  論文  参考訳（メタデータ） (2024-05-03T02:15:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。