Fugu-MT 論文翻訳(概要): Iterated Vector Fields and Conservatism, with Applications to Federated Learning

論文の概要: Iterated Vector Fields and Conservatism, with Applications to Federated Learning

arxiv url: http://arxiv.org/abs/2109.03973v1
Date: Wed, 8 Sep 2021 23:31:54 GMT
ステータス: 処理完了
システム内更新日: 2021-09-10 13:57:26.770949
Title: Iterated Vector Fields and Conservatism, with Applications to Federated Learning
Title（参考訳）: 反復ベクトル場と保守主義 : 連合学習への応用
Authors: Zachary Charles, Keith Rush
Abstract要約: 我々はベクトル場を反復し、それらがある種のスカラー値関数であるという意味で、それらが保守的であるかどうかを考察した。線形損失ベクトル関数の場を含む様々な反復ベクトル勾配の場を解析する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study iterated vector fields and investigate whether they are conservative, in the sense that they are the gradient of some scalar-valued function. We analyze the conservatism of various iterated vector fields, including gradient vector fields associated to loss functions of generalized linear models. We relate this study to optimization and derive novel convergence results for federated learning algorithms. In particular, we show that for certain classes of functions (including non-convex functions), federated averaging is equivalent to gradient descent on a surrogate loss function. Finally, we discuss a variety of open questions spanning topics in geometry, dynamical systems, and optimization.
Abstract（参考訳）: 反復ベクトル場の研究を行い、スカラー値関数の勾配であるという意味で、それらが保守的であるかどうかについて検討する。一般化線形モデルの損失関数に関連する勾配ベクトル場を含む様々な反復ベクトル場の保守性を分析する。本研究は,フェデレート学習アルゴリズムの最適化と新しい収束結果の導出に関するものである。特に,ある種の関数クラス(非凸関数を含む)では,フェデレーション平均化はサーロゲート損失関数の勾配降下と等価であることを示す。最後に、幾何学、力学系、最適化のトピックにまたがる様々なオープンな質問について論じる。

関連論文リスト

An Intrinsic Vector Heat Network [64.55434397799728]
本稿では,3次元に埋め込まれた接ベクトル場を学習するためのニューラルネットワークアーキテクチャを提案する。本研究では, ベクトル値の特徴データを空間的に伝播させるために, トレーニング可能なベクトル熱拡散モジュールを提案する。また,四面体メッシュ生成の産業的有用性に対する本手法の有効性を実証した。
論文参考訳（メタデータ） (2024-06-14T00:40:31Z)
Optimal Rates for Vector-Valued Spectral Regularization Learning Algorithms [28.046728466038022]
ベクトル値出力を持つ多種多様な正規化アルゴリズムの理論的特性について検討する。ベクトル値出力によるリッジ回帰に対するいわゆる飽和効果を厳密に検証する。有限サンプルリスク一般ベクトル値スペクトルアルゴリズムの上限について述べる。
論文参考訳（メタデータ） (2024-05-23T16:45:52Z)
Gradient Estimation and Variance Reduction in Stochastic and Deterministic Models [0.0]
この論文は制約のない非線形最適化問題を考察している。このような問題の解決を可能にする鍵となる量である勾配そのものに着目する。決定論と要素の双方に関わる問題の勾配を計算するための新しい枠組みを提案する。
論文参考訳（メタデータ） (2024-05-14T14:41:58Z)
Beyond Log-Concavity: Theory and Algorithm for Sum-Log-Concave Optimization [0.0]
一般に凸ではないが、一般凸不等式を満たすことが示される。本稿では,クロスグラディエントDescent (XGD)アルゴリズムを提案する。本稿では,要約-log-concave関数に依存するいわゆるチェッカーレグレッション手法を提案する。
論文参考訳（メタデータ） (2023-09-26T22:22:45Z)
Behind the Scenes of Gradient Descent: A Trajectory Analysis via Basis Function Decomposition [4.01776052820812]
本研究は,新しい基底関数分解法を用いて勾配型アルゴリズムの解軌跡を解析する。勾配に基づくアルゴリズムの解軌跡は学習課題によって異なるが、適切な正規関数ベースに投影された場合、ほとんど単調に振る舞う。
論文参考訳（メタデータ） (2022-10-01T19:15:40Z)
On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文参考訳（メタデータ） (2022-02-28T13:01:04Z)
Fine-grained Generalization Analysis of Vector-valued Learning [28.722350261462463]
正規化ベクトル値学習アルゴリズムの一般化解析を,出力次元に軽度依存する境界とサンプルサイズに高速速度を提示することで開始する。最適化と学習の相互作用を理解するために、結果を使用して、ベクトル値関数による降下の最初の境界を導出します。副生成物として、一般凸函数の項で定義される損失関数クラスに対してラデマッハ複雑性を導出する。
論文参考訳（メタデータ） (2021-04-29T07:57:34Z)
Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds [71.94111815357064]
科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
論文参考訳（メタデータ） (2021-03-27T19:56:00Z)
A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
論文参考訳（メタデータ） (2021-02-18T19:39:22Z)
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文参考訳（メタデータ） (2020-12-21T17:29:58Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。