論文の概要: Decentralized Time-Varying Optimization for Streaming Data via Temporal Weighting

• arxiv url: http://arxiv.org/abs/2605.06971v1
• Date: Thu, 07 May 2026 21:40:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.636324
• Title: Decentralized Time-Varying Optimization for Streaming Data via Temporal Weighting
• Title（参考訳）: 時間重み付けによるストリーミングデータの分散時間分散最適化
• Authors: Muhammad Faraz Ul Abrar, Nicolò Michelusi, Erik G. Larsson,
• Abstract要約: エージェントの分散ネットワーク上でのストリーミングデータによる最適化について検討する。 分散勾配降下(DGD)に重点を置いており,通信・計算の予算が限られている。
• 参考スコア（独自算出の注目度）: 26.702871313273942
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classical optimization theory largely focuses on fixed objective functions, whereas many modern learning systems operate in dynamic environments where data arrive sequentially and decisions must be updated continuously. In this work, we study optimization with streaming data over a distributed network of agents. We adopt a structured, weight-based formulation that explicitly captures the streaming-data origin of the time-varying objective: at each time step, every agent receives a new sample, and the network seeks to track the minimizer of a temporally weighted objective formed from all samples observed across the network so far. We focus on decentralized gradient descent (DGD) with a limited communication/computation budget, where at each time step, only a limited number of DGD iterations can be performed before the objective changes again. For strongly convex and smooth losses, we analyze the tracking error with respect to the time-varying minimizer through a fixed-point theory lens. Our analysis reveals that the tracking error decomposes into a fixed-point tracking term and a bias term induced by data heterogeneity across agents. We specialize the analysis to two natural weighting strategies: uniform weights, which treat all samples equally, and exponentially discounted weights, which geometrically decay the influence of older data. Under uniform weighting, DGD tracks the fixed-point at a rate $\mathcal{O}(1/t)$, whereas discounted weighting yields a non-vanishing fixed-point tracking floor controlled by the discount factor. In both cases, decentralization induces an additional non-zero bias floor under a constant step size. We validate our theoretical findings through numerical simulations.
• Abstract（参考訳）: 古典最適化理論は、主に固定目的関数に焦点をあてるが、現代の多くの学習システムは、データが逐次到着し、決定を継続的に更新する必要がある動的な環境で動作している。 本研究では,エージェントの分散ネットワーク上でのストリーミングデータによる最適化について検討する。 我々は、時間変化対象のストリーミングデータの起源を明示的にキャプチャする構造化された重みベースの定式化を採用し、各時点において、各エージェントが新しいサンプルを受信し、ネットワークは、これまでネットワーク全体で観察された全てのサンプルから形成される時間重み付け対象の最小値を追跡する。 我々は,通信/計算予算が限られている分散勾配降下(DGD)に焦点を当て,各段階において,目的が再び変化する前に,限られた数のDGDイテレーションしか実行できない。 強い凸と滑らかな損失に対して、固定点理論レンズを用いて時間変化最小化器に関する追従誤差を解析する。 分析の結果,追跡誤差は固定点追跡項とエージェント間のデータ不均一性によって引き起こされるバイアス項に分解されることがわかった。 分析は、全てのサンプルを等しく扱う一様重みと、古いデータの影響を幾何的に破壊する指数関数的に減らした重みの2つの自然な重み付け戦略に特化している。 均一重み付けでは、DGDは固定点を$\mathcal{O}(1/t)$で追跡するが、割引重み付けは割引係数によって制御される非消滅固定点追跡フロアを生成する。 どちらの場合も、分散化は、一定のステップサイズで追加の非ゼロバイアスフロアを誘導する。 数値シミュレーションにより理論的知見を検証した。

関連論文リスト

• Time-Varying Optimization for Streaming Data Via Temporal Weighting [26.702871313273942]
  時間変動最適化レンズを用いてストリーミングデータから学習する問題について検討する。 我々は,(1)全ての試料を等しく扱う一様重みと(2)古いデータの影響を幾何的に減衰させる割引重みの2つの具体的な重み付け戦略に焦点をあてる。 数値シミュレーションにより理論的知見を検証した。
  論文  参考訳（メタデータ） (2025-10-15T00:18:17Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• DispFormer: A Pretrained Transformer Incorporating Physical Constraints for Dispersion Curve Inversion [56.64622091009756]
  本研究では、レイリー波位相と群分散曲線からプロファイルインバージョンを$v_s$とするトランスフォーマーベースのニューラルネットワークであるDispFormerを紹介する。 DispFormerは各期間に分散データを個別に処理し、ネットワークの変更やデータセットのトレーニングとテストの厳格な調整を必要とせずに、さまざまな長さを処理できる。
  論文  参考訳（メタデータ） (2025-01-08T09:08:24Z)
• Generalized EXTRA stochastic gradient Langevin dynamics [6.899153618328339]
  ランゲヴィンアルゴリズムは、ベイズ学習のためのマルコフ・チェイン・モンテカルロ法(Markov Chain Monte Carlo method)として人気がある。 Langevin dynamics (SGLD)のような彼らのバージョンは、ランダムにサンプリングされたミニバッチに基づいた反復学習を可能にする。 通信とプライバシーの制約を受けるエージェントのネットワークでデータが分散化されると、標準のSGLDアルゴリズムは適用できない。
  論文  参考訳（メタデータ） (2024-12-02T21:57:30Z)
• Variational Density Propagation Continual Learning [0.0]
  現実世界にデプロイされるディープニューラルネットワーク(DNN)は、定期的にオフ・オブ・ディストリビューション(OoD)データの対象となっている。 本稿では,ベンチマーク連続学習データセットによってモデル化されたデータ分散ドリフトに適応するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-22T21:51:39Z)
• Continual Test-Time Domain Adaptation [94.51284735268597]
  テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。 CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2022-03-25T11:42:02Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。