論文の概要: ZO-COSMO: Index-Free One-Hop Mixing for Decentralized Zeroth-Order Optimization

• arxiv url: http://arxiv.org/abs/2609.27199v1
• Date: Wed, 23 Sep 2026 01:05:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.814069
• Title: ZO-COSMO: Index-Free One-Hop Mixing for Decentralized Zeroth-Order Optimization
• Title（参考訳）: ZO-COSMO:分散ゼロ階最適化のためのインデックスフリーワンホップ混合
• Abstract要約: 平均保存マスクコンセンサスと2クエリ推定を結合したtextsfZO-COSMO を開発した。 グローバルサポートは、すべての隣のミキシングを提供し、一致した更新は、各ペア内でのみ合意を必要とする。 一致するクラス内のスカラー毎の鋭い収縮境界と、コアおよびスパースモーメント更新の収束保証を導出する。
• 参考スコア（独自算出の注目度）: 8.805992680570933
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse communication in decentralized zeroth-order learning requires compatible peer-state coordinates. We characterize this one-hop condition and develop \textsf{ZO-COSMO}, coupling two-query estimation with average-preserving masked consensus using $q$ values per active link. Global supports serve all-neighbor mixing; matching updates require agreement only within each pair. We derive a sharp contraction-per-scalar bound within the matching class and convergence guarantees for the core and sparse-momentum updates. At fixed matching, exact moment identities characterize how shared directions preserve gradient-heterogeneity cancellation and redistribute estimation error and disagreement. Mechanism experiments cover unequal curvatures, noise, and sparse momentum. Further tests span $64$ synthetic agents and eight logical Qwen LoRA workers. At matched payload budgets, Qwen2-7B QNLI gains $3.65$ accuracy points over explicit-index Rand-$k$; edge-local updates gain $3.42$ and $2.53$ points over all-neighbor mixing on eight-worker complete and ring graphs. A matched-first-step ablation gives a $3.92$-point momentum benefit. Seed-aware and same-matching controls distinguish encoding, scheduling, and query correlation.
• Abstract（参考訳）: 分散ゼロオーダー学習におけるスパース通信は、互換性のあるピア状態座標を必要とする。 我々は,このワンホップ条件を特徴付けるとともに,アクティブリンクあたり$q$の値を用いて,平均保存マスク付きコンセンサスと2クエリ推定を結合した「textsf{ZO-COSMO}」を開発する。 グローバルサポートは、すべての隣のミキシングを提供し、一致した更新は、各ペア内でのみ合意を必要とする。 一致するクラス内のスカラー毎の鋭い収縮境界と、コアおよびスパースモーメント更新の収束保証を導出する。 固定マッチングにおいて、正確なモーメントアイデンティティは、共有方向が勾配不均一性キャンセルと再帰的推定誤差と不一致をいかに保持するかを特徴付ける。 メカニズム実験は不等曲率、ノイズ、スパースモーメントをカバーしている。 さらなるテストは、64ドルの合成エージェントと8人の論理的なQwen LoRAワーカーからなる。 一致したペイロード予算では、Qwen2-7B QNLIは露骨なRand-$k$で3.65ドル、エッジローカル更新は8人の完全グラフとリンググラフで隣り合う混合で3.42ドル、2.53ドルとなる。 マッチした1段階のアブレーションは3.92$ポイントのモーメントの恩恵を与える。 シードアウェアと同一マッチングコントロールは、エンコーディング、スケジューリング、クエリ相関を区別する。

関連論文リスト

• The Price of Decentralization in Top-$K$ Arm Identification [1.3700362496838856]
  マルチエージェント・マルチアーム・バンディットにおけるトップ$K$のジョイントアーム識別について検討する。 エージェントは、ジョイントアームを構成する個々のアクションを同時に選択する。 共有逆同定は1つの普遍対数係数まで最適であることを示す。
  論文  参考訳（メタデータ） (2026-08-22T22:22:06Z)
• Covariance Last-Layer Ensembles: Function-Space Diversity for Efficient Uncertainty Quantification [0.8803840644459077]
  Cov-LLEは、ウェイト・オルソノーマル性が不可能な関数空間の多様性を復元し、マッチした$K$は深いアンサンブルの多様性と校正の多くを回復する。 OCを最終層アンサンブルと見なすと、検出器を2軸の分類に整理する。
  論文  参考訳（メタデータ） (2026-07-26T21:56:02Z)
• First-Order Predictable but Pairwise Fragile: Local Task Adaptation in Trained Transformers [0.05729426778193398]
  マルチタスクのLORA操作点付近で同じハーネスで8つの特性を測定する。 テストスケール10-2$までの1方向の検証ウィンドウが共有されているが、ペアの合成や更新順序に対する普遍半径は存在しない。
  論文  参考訳（メタデータ） (2026-07-18T13:43:44Z)
• DP-Splat: Bayesian Nonparametric Complexity Control for Gaussian Splatting [0.0]
  3D Splattingは、密度制御またはユーザキャップによって構成される成分数$K$の異方性ガウスの有限混合を表す。 混合重みよりも対称対称ディリクレをトランクされた棒破れディリクレ過程に置き換える。 単調性保証,厳密なトランケーション・エラーを厳格に保証し,反保守的大エラー近似を一般的な使用法で補正する。
  論文  参考訳（メタデータ） (2026-07-12T20:31:15Z)
• A Spectral Phase Diagram for Binary Few-Shot Classification: Intrinsic Dimensionality, Geometric Saturation, and Representational Diagnosis [0.0]
  飽和指数 $S(K) = operatornameerank(widehat_W(K)) / K$ は、プールされたクラス内サンプルの有効ランクとショットカウントとの比を測る。 インデックスはサポート機能だけで$O(d3)$ timeで計算可能で、テストラベルやトレーニングされた分類子を必要としない。
  論文  参考訳（メタデータ） (2026-06-12T16:46:24Z)
• CaricHarmony: Contrastive Diffusion Paths for Identity-Preserving Caricature Synthesis [49.596677723190886]
  スケッチベースの似顔絵合成は、基本的な失敗モードに悩まされる。 アイデンティティと形状の条件は拡散モデルに組み合わされ、地味な肖像画や認識不能な歪みに対して崩壊する。 並列な未汚染拡散経路を通じてこの汚染を明示的に解消する最初の訓練不要な手法であるCaricHarmonyを提案する。
  論文  参考訳（メタデータ） (2026-06-11T22:57:59Z)
• High-Probability Convergence in Decentralized Stochastic Optimization with Gradient Tracking [69.90407799170687]
  分散最適化における高確率収束保証について検討する。 その結果, 地平線上の条件は, 比較時間と同一であることがわかった。
  論文  参考訳（メタデータ） (2026-04-30T22:45:21Z)
• Near-Optimal Online Learning for Multi-Agent Submodular Coordination: Tight Approximation and Communication Efficiency [52.60557300927007]
  離散部分モジュラー問題を連続的に最適化するために,$textbfMA-OSMA$アルゴリズムを提案する。 また、一様分布を混合することによりKLの発散を効果的に活用する、プロジェクションフリーな$textbfMA-OSEA$アルゴリズムも導入する。 我々のアルゴリズムは最先端OSGアルゴリズムによって提供される$(frac11+c)$-approximationを大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-07T15:57:56Z)
• Clustered Switchback Designs for Experimentation Under Spatio-temporal Interference [44.644520116360106]
  我々は, 平均治療効果 (GATE) を推定し, 全単位を常に治療やコントロールに曝露した平均結果の差を推定した。 そこで我々は,単位をクラスタにグループ化し,時間ステップをブロックにグループ化する,クラスタ化されたスイッチバック設計を提案する。 良好なクラスタリングを許容するグラフに対して, トラッピングされたHorvitz-Thompson推定器が$tilde O(1/NT)$平均二乗誤差(MSE)を達成することを示す。 我々の結果は、citethu2022switchback、ugander2013graph、citetleung2022rateの結果を同時に一般化する。
  論文  参考訳（メタデータ） (2023-12-25T01:00:58Z)
• A Quadratic Synchronization Rule for Distributed Deep Learning [66.68264684667562]
  本研究は、擬似同期規則(QSR)と呼ばれる$H$を決定するための理論基底法を提案する。 ResNet と ViT の実験により、QSR を用いた局所勾配法は、他の同期戦略よりもテスト精度を一貫して向上することが示された。
  論文  参考訳（メタデータ） (2023-10-22T21:38:57Z)
• Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning [77.22019100456595]
  通信周波数の異なる分散計算作業者のトレーニングアルゴリズムを示す。 本研究では,より厳密な収束率を$mathcalO!!(sigma2-2_avg!)とする。 また,不均一性の項は,作業者の平均遅延によっても影響されることを示した。
  論文  参考訳（メタデータ） (2022-06-16T17:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。