Fugu-MT 論文翻訳(概要): Iterated Vector Fields and Conservatism, with Applications to Federated Learning

論文の概要: Iterated Vector Fields and Conservatism, with Applications to Federated Learning

arxiv url: http://arxiv.org/abs/2109.03973v1
Date: Wed, 8 Sep 2021 23:31:54 GMT
ステータス: 処理完了
システム内更新日: 2021-09-10 13:57:26.770949
Title: Iterated Vector Fields and Conservatism, with Applications to Federated Learning
Title（参考訳）: 反復ベクトル場と保守主義 : 連合学習への応用
Authors: Zachary Charles, Keith Rush
Abstract要約: 我々はベクトル場を反復し、それらがある種のスカラー値関数であるという意味で、それらが保守的であるかどうかを考察した。線形損失ベクトル関数の場を含む様々な反復ベクトル勾配の場を解析する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study iterated vector fields and investigate whether they are conservative, in the sense that they are the gradient of some scalar-valued function. We analyze the conservatism of various iterated vector fields, including gradient vector fields associated to loss functions of generalized linear models. We relate this study to optimization and derive novel convergence results for federated learning algorithms. In particular, we show that for certain classes of functions (including non-convex functions), federated averaging is equivalent to gradient descent on a surrogate loss function. Finally, we discuss a variety of open questions spanning topics in geometry, dynamical systems, and optimization.
Abstract（参考訳）: 反復ベクトル場の研究を行い、スカラー値関数の勾配であるという意味で、それらが保守的であるかどうかについて検討する。一般化線形モデルの損失関数に関連する勾配ベクトル場を含む様々な反復ベクトル場の保守性を分析する。本研究は,フェデレート学習アルゴリズムの最適化と新しい収束結果の導出に関するものである。特に,ある種の関数クラス(非凸関数を含む)では,フェデレーション平均化はサーロゲート損失関数の勾配降下と等価であることを示す。最後に、幾何学、力学系、最適化のトピックにまたがる様々なオープンな質問について論じる。

関連論文リスト

Hellinger-Kantorovich Gradient Flows: Global Exponential Decay of Entropy Functionals [52.154685604660465]
本稿では,Heringer-Kantorovich(HK)幾何に着目し,正測度と確率測度の勾配流の族について検討する。中心的な寄与は、オットー・ワッサーシュタインおよびヘルリンガー型勾配流の下でのエントロピー汎函数の大域的指数減衰挙動の完全な特徴づけである。
論文参考訳（メタデータ） (2025-01-28T16:17:09Z)
Mathematical analysis of the gradients in deep learning [3.3123773366516645]
勾配関数は、コスト汎函数が連続的に微分可能なすべての開集合上のコスト汎函数の標準勾配と一致しなければならないことを示す。一般化された勾配函数は、コスト汎函数が連続的に微分可能なすべての開集合上のコスト汎函数の標準勾配と一致しなければならない。
論文参考訳（メタデータ） (2025-01-26T19:11:57Z)
An Intrinsic Vector Heat Network [64.55434397799728]
本稿では,3次元に埋め込まれた接ベクトル場を学習するためのニューラルネットワークアーキテクチャを提案する。本研究では, ベクトル値の特徴データを空間的に伝播させるために, トレーニング可能なベクトル熱拡散モジュールを提案する。また,四面体メッシュ生成の産業的有用性に対する本手法の有効性を実証した。
論文参考訳（メタデータ） (2024-06-14T00:40:31Z)
Optimal Rates for Vector-Valued Spectral Regularization Learning Algorithms [28.046728466038022]
ベクトル値出力を持つ多種多様な正規化アルゴリズムの理論的特性について検討する。ベクトル値出力によるリッジ回帰に対するいわゆる飽和効果を厳密に検証する。有限サンプルリスク一般ベクトル値スペクトルアルゴリズムの上限について述べる。
論文参考訳（メタデータ） (2024-05-23T16:45:52Z)
Gradient Estimation and Variance Reduction in Stochastic and Deterministic Models [0.0]
この論文は制約のない非線形最適化問題を考察している。このような問題の解決を可能にする鍵となる量である勾配そのものに着目する。決定論と要素の双方に関わる問題の勾配を計算するための新しい枠組みを提案する。
論文参考訳（メタデータ） (2024-05-14T14:41:58Z)
Beyond Log-Concavity: Theory and Algorithm for Sum-Log-Concave Optimization [0.0]
一般に凸ではないが、一般凸不等式を満たすことが示される。本稿では,クロスグラディエントDescent (XGD)アルゴリズムを提案する。本稿では,要約-log-concave関数に依存するいわゆるチェッカーレグレッション手法を提案する。
論文参考訳（メタデータ） (2023-09-26T22:22:45Z)
On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文参考訳（メタデータ） (2022-02-28T13:01:04Z)
Fine-grained Generalization Analysis of Vector-valued Learning [28.722350261462463]
正規化ベクトル値学習アルゴリズムの一般化解析を,出力次元に軽度依存する境界とサンプルサイズに高速速度を提示することで開始する。最適化と学習の相互作用を理解するために、結果を使用して、ベクトル値関数による降下の最初の境界を導出します。副生成物として、一般凸函数の項で定義される損失関数クラスに対してラデマッハ複雑性を導出する。
論文参考訳（メタデータ） (2021-04-29T07:57:34Z)
Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds [71.94111815357064]
科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
論文参考訳（メタデータ） (2021-03-27T19:56:00Z)
A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
論文参考訳（メタデータ） (2021-02-18T19:39:22Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。