論文の概要: Group Distributionally Robust Optimization over Decentralized Networks

• arxiv url: http://arxiv.org/abs/2610.29261v1
• Date: Wed, 21 Oct 2026 06:13:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.256818
• Title: Group Distributionally Robust Optimization over Decentralized Networks
• Title（参考訳）: 分散ネットワークを用いた群分散ロバスト最適化
• Abstract要約: 本研究では、分散ネットワーク上での群分散ロバスト最適化(GDRO)について検討し、労働者が協調してロバストモデルを学習する。 既存の方法は、双正則化されたサロゲートのみを最適化し、労働者が利用できない世界平均モデルの保証を確立する。 GDROの本来の目的を直接最適化し、半分散(SemiDec)および完全分散(Dec)設定でローカルモデルの保証を確立する。
• 参考スコア（独自算出の注目度）: 25.79370231494639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study group distributionally robust optimization (GDRO) over decentralized networks, where workers collaborate to learn robust models by minimizing the maximum local risk. Existing methods optimize only dual-regularized surrogates and establish guarantees for a globally averaged model that is not available to workers. In this paper, we directly optimize the original GDRO objective and establish guarantees for local models in semi-decentralized (SemiDec) and fully decentralized (Dec) settings. A key difficulty is that applying the primal-dual decomposition from centralized GDRO yields worker-dependent losses whose evaluation requires unavailable cross-worker information. To address this challenge, we develop a novel error decomposition that recasts decentralized GDRO as (i) a decentralized online convex optimization (D-OCO) problem and a prediction-with-expert-advice problem in SemiDec, and as (ii) two coupled D-OCO problems in Dec, with discrepancy terms capturing inconsistencies among local decisions. By isolating consensus errors in analysis, we develop modular frameworks that support different consensus routines. We then establish the \emph{first} per-worker convergence guarantees for optimizing the original GDRO objective over decentralized networks. Instantiations with accelerated gossip and Choco-gossip achieve an $O(\sqrt{(\log m)/T})$ convergence rate over $T$ update rounds, while experiments demonstrate improved worst-worker performance over baselines.
• Abstract（参考訳）: 分散ネットワーク上での群分散ロバスト最適化 (GDRO) について検討し, 最大局所リスクを最小化してロバストモデルを学習する。 既存の方法は、双正則化されたサロゲートのみを最適化し、労働者が利用できない世界平均モデルの保証を確立する。 本稿では,従来のGDRO目標を直接最適化し,半分散(SemiDec)および完全分散(Dec)設定における局所モデルの保証を確立する。 重要な難点は、集中型GDROから原始二重分解を適用すると、不利用可能なクロスワーカー情報を必要とする労働者依存の損失が生じることである。 この課題に対処するため、分散化GDROを再キャストする新しいエラー分解を開発した。 (i)SemiDecにおける分散オンライン凸最適化(D-OCO)問題と予測-専門家対応問題 (II)12月のD-OCO問題と地域決定の不整合をとらえる不一致条件の2つが組み合わされた。 分析においてコンセンサスエラーを分離することにより、異なるコンセンサスルーチンをサポートするモジュラーフレームワークを開発する。 次に、分散ネットワーク上で元のGDRO目標を最適化するための作業者毎の収束保証を確立する。 加速されたゴシップとチョコゴシップによる検証は、$O(\sqrt{(\log m)/T})$収束率を$T$更新ラウンドで達成し、一方実験では、ベースラインよりも最悪の作業性能が向上した。

関連論文リスト

• DUET: Decentralized Bilevel Optimization without Lower-Level Strong Convexity [77.51981761667302]
  二次正規化二段階分散最適化 (DUET) と呼ばれる新しい単一ループDBOアルゴリズムを導入する。 DUETは、低レベル(LL)の目的に2次正規化を減少させることにより、LLSCの必要性を排除する。 我々の知る限りでは、データを不均一に分散した設定の下でLLSCなしでDBOに取り組むのは、これが初めてです。
  論文  参考訳（メタデータ） (2026-06-19T06:45:13Z)
• Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
  グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。 GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。 チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
  論文  参考訳（メタデータ） (2026-05-12T03:20:24Z)
• Learning to Collaborate: An Orchestrated-Decentralized Framework for Peer-to-Peer LLM Federation [0.9231476323484774]
  本稿では,分散化を組織化するための新しいフレームワークであるKNEXA-FLを紹介する。 非集約型のCentral Profiler/Matchmakerを採用しており、P2Pコラボレーションを文脈的盗聴問題として定式化している。 実験の結果,KNEXA-FLはP2Pのランダムな協調に対して約50%の精度でPass@1を向上することがわかった。
  論文  参考訳（メタデータ） (2026-01-23T19:18:43Z)
• Distributionally Robust Optimization with Adversarial Data Contamination [49.89480853499918]
  凸リプシッツ損失関数を持つ一般化線形モデルに対するワッサーシュタイン-1 DRO 目標の最適化に焦点をあてる。 私たちの主な貢献は、データ汚染のトレーニングに対するロバストネスと分散シフトに対するロバストネスを統合した、新しいモデリングフレームワークです。 この研究は、データ汚染と分散シフトという2つの課題の下で学習するために、効率的な計算によって支援される最初の厳密な保証を確立する。
  論文  参考訳（メタデータ） (2025-07-14T18:34:10Z)
• Statistical Analysis of Conditional Group Distributionally Robust Optimization with Cross-Entropy Loss [16.1456465253627]
  本研究では、複数のソースドメインからラベル付きデータを入手でき、対象ドメインからラベルなしデータのみを観測できるマルチソース非教師付きドメイン適応について検討する。 本稿では,情報源領域からの条件付き結果分布の凸結合を最小化することにより,分類器を学習するグループ分散条件最適化フレームワークを提案する。 実験的なCG-DRO推定器の高速な統計的収束速度を,理論ブリッジとして機能する2つの代理極小最適化問題を構築することにより確立する。
  論文  参考訳（メタデータ） (2025-07-14T04:21:23Z)
• DCatalyst: A Unified Accelerated Framework for Decentralized Optimization [10.925931212031692]
  中央サーバを持たないグラフとしてモデル化されたエージェントネットワーク上での分散最適化について検討する。 我々はNesterovアクセラレーションを分散最適化アルゴリズムに統合した統合ブラックボックスフレームワークDCatalystを紹介する。
  論文  参考訳（メタデータ） (2025-01-30T03:32:59Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over Graphs [54.08445874064361]
  本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。 Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。 提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
  論文  参考訳（メタデータ） (2022-08-29T18:01:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。