論文の概要: Matching Rates and Optimal Allocation for Federated Probe-Logit Distillation under Heterogeneous Bandwidth Budgets

• arxiv url: http://arxiv.org/abs/2605.29642v1
• Date: Thu, 28 May 2026 09:08:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.097893
• Title: Matching Rates and Optimal Allocation for Federated Probe-Logit Distillation under Heterogeneous Bandwidth Budgets
• Title（参考訳）: 不均質帯域予算下におけるフェデレートプロベロジット蒸留の整合速度と最適配置
• Authors: Prasanjit Dubey, Xiaoming Huo,
• Abstract要約: 言語モデリングでは、$K$ノードはそれぞれ$n$サンプルを保持するが、データのプールや完全な精度勾配や重みの交換はできない。 本研究では,各ノードが1クエリあたり最大$B$ビットを公開プローブセットにアップロードできる場合に,$V$トークンの条件分布を推定できるミニマックスレートについて検討する。
• 参考スコア（独自算出の注目度）: 12.805268849262243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In federated language modeling, $K$ nodes each hold $n$ samples but cannot pool data or exchange full-precision gradients or weights. We study the minimax rate at which a conditional distribution over $V$ tokens can be estimated when each node may upload at most $B$ bits per query in a public probe set. In federated probe-logit distillation (FPLD), each node transmits a scalar-quantized logit vector on the probe set, and an aggregator distills a global parametric student. Prior work (Dubey and Huo, 2026) establishes a high-probability KL rate $O(d/(Kn) + ρ\sqrt{V \log V / m} + K^{-1} \cdot 2^{-2B/V})$ plus optimization slack, with the bandwidth term in its trace-sharpened form. Whether this bandwidth-term rate is tight, and how the upper bound generalizes to heterogeneous per-node bandwidths, are left open. We close both gaps. First, the dithered FPLD construction has a matching single-round lower bound $Ω(K^{-1} \cdot 2^{-2B/V})$ under non-degeneracy, pinning the bandwidth-axis rate at $Θ(K^{-1} \cdot 2^{-2B/V})$. $T$-round sequential refinement with nested/scaled residual quantizers achieves $O(K^{-1} \cdot 2^{-2TB/V})$; vanilla FPLD's $T$-independent bandwidth term is suboptimal for every $T > 1$. Second, we establish a heterogeneous-bandwidth upper bound for per-node budgets $B_i$, paired with a closed-form optimal allocation $B_i^* = B_{\mathrm{tot}}/K + (V/2) \log_2(w_i / \bar{w}_g)$, a log-tilted water-filling rule that is the per-node analogue of reverse water-filling for distortion-rate optimization. A plug-in adaptive variant estimates the weights from a short warm-up phase and attains $1 + O(\sqrt{\log(K/δ)/(m T_0)})$ relative suboptimality. Synthetic n-gram simulations confirm that empirical KL is bracketed by the upper and lower bounds and that the optimal allocation strictly dominates uniform and inverse-weighted baselines under heterogeneous clipping.
• Abstract（参考訳）: 連合言語モデリングでは、$K$ノードはそれぞれ$n$サンプルを保持するが、データのプールや完全な精度勾配や重みの交換はできない。 本研究では,各ノードが公開プローブセット内のクエリ毎に最大$B$ビットをアップロードできる場合に,$V$トークンの条件分布を推定できるミニマックスレートについて検討する。 連合型プローブロジット蒸留(FPLD)では、各ノードは、プローブセット上のスカラー量子化ロジットベクトルを送信し、集約器は、グローバルパラメトリック学生を蒸留する。 先行研究 (Dubey and Huo, 2026) は、高確率 KL レート $O(d/(Kn) + ρ\sqrt{V \log V/m} + K^{-1} \cdot 2^{-2B/V}) を定めている。 この帯域幅の持続速度が厳密であるか、上界がノード単位の帯域幅に一般化されるかは、未解決のままである。 両方のギャップを埋めます。 第一に、ディザリング FPLD の構成は、整合した単ラウンドの下界 $Ω(K^{-1} \cdot 2^{-2B/V})$ を非退化の下で有し、帯域幅軸の速度を $ (K^{-1} \cdot 2^{-2B/V})$ に固定する。 バニラFPLDの$T$非依存帯域幅項は、すべての$T > 1$に対して最適である。 第二に、ノード単位の予算に対して不均質な帯域幅上限を$B_i$と、閉形式の最適割り当てを$B_i^* = B_{\mathrm{tot}}/K + (V/2) \log_2(w_i / \bar{w}_g)$と組み合わせる。 プラグイン適応型変種は、短いウォームアップフェーズから重みを推定し、1 + O(\sqrt{\log(K/δ)/(m T_0)})$相対的準最適値に達する。 合成n-gramシミュレーションにより、経験的KLが上下境界によってブラケットされ、最適な割り当てが不均一なクリッピングの下で一様および逆重み付きベースラインを厳密に支配していることが確認された。

関連論文リスト

• OAM-Induced Lattice Rotation Reveals a Fractional Optimum in Fault-Tolerant GKP Quantum Sensing [0.0]
  軌道角モメンタム符号化とGottesman-Kitaev-Preskill(GKP)格子幾何学が構造的に結合していることを確立する。 終端から終端までの微分可能なStrawberry Fields--TensorFlow回路を用いて、$ell$、格子アスペクト比$r$、および有限エネルギーエンベロープ$$を共に最適化し、量子フィッシャー情報を最大化する。
  論文  参考訳（メタデータ） (2026-05-13T09:49:16Z)
• Wavelet Variance Equipartition as a Threshold for World-Model Quality and Quantum Kernel TN-Simulability [0.0]
  我々はウェーブレットスケーリング指数$$を臨界診断として同定する。 振幅符号化された量子カーネルの古典的シミュラビリティのシャープな遷移境界として$=1/2$を確立する。 この分散は、厳密には$Var[X] = (d-2)$としてスケールする。
  論文  参考訳（メタデータ） (2026-05-12T05:41:12Z)
• Federated Language Models Under Bandwidth Budgets: Distillation Rates and Conformal Coverage [12.805268849262243]
  集中できない帯域制限ノードに散在するデータに基づいて言語モデルを訓練することは、臨床ネットワーク、企業知識基盤、科学コンソーシアムで発生する設定である。 ノード間でデータを分散し続けなければならない状況について検討し、明示的な帯域幅予算の下では、何の統計的保証が得られるのかを問う。
  論文  参考訳（メタデータ） (2026-05-11T05:01:43Z)
• Minimax Optimality of Score-based Diffusion Models: Beyond the Density Lower Bound Assumptions [11.222970035173372]
  カーネルベースのスコア推定器は$widetildeOleft(n-1 t-fracd+22(tfracd2 vee 1)rightの最適平均二乗誤差を達成する 核を用いたスコア推定器は,拡散モデルで生成した試料の分布の総変動誤差に対して,極小ガウスの下での最大平均2乗誤差を$widetildeOleft(n-1/2 t-fracd4right)$上界で達成することを示す。
  論文  参考訳（メタデータ） (2024-02-23T20:51:31Z)
• On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
  本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。 我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。 収束率は$frac1Tsum_k=1Tと類似していると考えられる。
  論文  参考訳（メタデータ） (2024-02-01T07:21:32Z)
• ReSQueing Parallel and Private Stochastic Convex Optimization [59.53297063174519]
  本稿では,BFG凸最適化(SCO: Reweighted Query (ReSQue) 推定ツールを提案する。 我々はSCOの並列およびプライベート設定における最先端の複雑さを実現するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-01-01T18:51:29Z)
• Random quantum circuits transform local noise into global white noise [118.18170052022323]
  低忠実度状態におけるノイズランダム量子回路の測定結果の分布について検討する。 十分に弱くユニタリな局所雑音に対して、一般的なノイズ回路インスタンスの出力分布$p_textnoisy$間の相関(線形クロスエントロピーベンチマークで測定)は指数関数的に減少する。 ノイズが不整合であれば、出力分布は、正確に同じ速度で均一分布の$p_textunif$に近づく。
  論文  参考訳（メタデータ） (2021-11-29T19:26:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。