論文の概要: Distributed Optimization with Streaming Data: A Temporal Weighting Perspective
- arxiv url: http://arxiv.org/abs/2608.09565v1
- Date: Mon, 10 Aug 2026 13:02:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.279294
- Title: Distributed Optimization with Streaming Data: A Temporal Weighting Perspective
- Title（参考訳）: ストリーミングデータによる分散最適化: 一時的な重み付けの観点から
- Abstract要約: 構造化時間変化定式化によるストリーミングデータからの分散最適化について検討する。
我々は、分散勾配勾配を含む多点分散一階法を解析する。
我々はこの分析を、均一で指数関数的に割引されたウェイトと、その有限メモリのエンファンドウのウェイトに特化させる。
- 参考スコア（独自算出の注目度）: 26.702871313273942
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimization theory is a widely used tool for intelligent decision-making. While classical optimization deals with fixed, time-invariant objective functions, many modern applications operate in dynamic environments where data arrive sequentially, and the learning objective evolves over time, often under decentralized data and communication constraints. Motivated by these trends, we study decentralized optimization from streaming data through a structured time-varying formulation in which the global objective is a temporally weighted average of losses observed across the network. We analyze multi-iteration decentralized first-order methods, including decentralized gradient descent. For strongly convex and smooth losses, we develop guarantees for the Euclidean-norm \emph{tracking error} through a contraction-mapping viewpoint. The resulting bounds decompose the tracking error into a fixed-point tracking component and a bias term induced by decentralization and data heterogeneity. We specialize our analysis to uniform and exponentially discounted weights, as well as their finite-memory \emph{windowed} counterparts. The bounds explicitly characterize the roles of the temporal weighting rule, per-step iteration budget, step size, and network connectivity. Uniform weighting yields a vanishing fixed-point tracking contribution of order $\mathcal O(1/t)$, whereas discounted and windowed strategies generally induce non-vanishing tracking floors governed by the discount factor and effective memory, respectively. In all cases, decentralization induces an additional non-zero bias floor under a constant step size. Numerical experiments illustrate the predicted trends.
- Abstract（参考訳）: 最適化理論は知的意思決定のための広く使われているツールである。
古典的な最適化は固定された時間不変の目的関数を扱うが、現代の多くのアプリケーションはデータが順次到着する動的な環境で動作し、学習対象は時間とともに進化し、しばしば分散データや通信制約の下で行われる。
これらの傾向に触発されて、ネットワーク全体で観測される損失の時間重み付け平均である、構造化時間変化の定式化を通じて、ストリーミングデータからの分散最適化について検討する。
我々は、分散勾配勾配を含む多点分散一階法を解析する。
強い凸と滑らかな損失に対して、縮退的視点を通してユークリッド-ノルム \emph{tracking error} の保証を開発する。
結果のバウンダリは、トラッキングエラーを固定点追跡成分と、分散化とデータ不均一性によって誘導されるバイアス項に分解する。
我々は解析を、均一かつ指数関数的に割引されたウェイトと、その有限メモリ \emph{windowed} のウェイトに専門化する。
境界は、時間重み付けルール、ステップ毎のイテレーション予算、ステップサイズ、ネットワーク接続の役割を明示的に特徴付けている。
均一な重み付けは、$\mathcal O(1/t)$の固定点追跡コントリビューションを消失させるが、ディスカウントされた戦略とウィンドウ化された戦略は、通常、ディスカウント係数と有効メモリによって管理される非消滅追跡フロアを誘導する。
いずれの場合も、分散化は一定のステップサイズで追加の非ゼロバイアスフロアを誘導する。
数値実験は予測される傾向を示す。
関連論文リスト
- Decentralized Time-Varying Optimization for Streaming Data via Temporal Weighting [26.702871313273942]
エージェントの分散ネットワーク上でのストリーミングデータによる最適化について検討する。
分散勾配降下(DGD)に重点を置いており,通信・計算の予算が限られている。
論文 参考訳（メタデータ） (2026-05-07T21:40:42Z) - The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。
時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。
本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
論文 参考訳（メタデータ） (2025-12-21T06:08:22Z) - Time-Varying Optimization for Streaming Data Via Temporal Weighting [26.702871313273942]
時間変動最適化レンズを用いてストリーミングデータから学習する問題について検討する。
我々は,(1)全ての試料を等しく扱う一様重みと(2)古いデータの影響を幾何的に減衰させる割引重みの2つの具体的な重み付け戦略に焦点をあてる。
数値シミュレーションにより理論的知見を検証した。
論文 参考訳（メタデータ） (2025-10-15T00:18:17Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-04-17T08:32:25Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - On Generalization of Decentralized Learning with Separable Data [37.908159361149835]
分離可能なデータに基づく勾配勾配勾配に基づく分散学習のアルゴリズム的および一般化特性について検討する。
具体的には、分散勾配降下と無限大で 0 に漸近する様々な損失関数に対して、新しい有限時間一般化境界を導出する。
論文 参考訳（メタデータ） (2022-09-15T07:59:05Z) - Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。
グラフが現在の勾配を混合する能力を定量化する計量法を提案する。
そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
論文 参考訳（メタデータ） (2022-04-13T15:54:35Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳（メタデータ） (2021-06-15T17:45:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。