論文の概要: Is All Learning (Natural) Gradient Descent?

• arxiv url: http://arxiv.org/abs/2409.16422v1
• Date: Tue, 24 Sep 2024 19:41:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 08:31:10.092644
• Title: Is All Learning (Natural) Gradient Descent?
• Title（参考訳）: All Learning (Natural Gradient Descent)?
• Authors: Lucas Shoji, Kenta Suzuki, Leo Kozachkov,
• Abstract要約: 有効学習規則のクラスは、適切に定義された損失関数とメートル法に対して、自然な勾配降下であることを示す。 また、これらの指標は正準形式を持ち、最小条件数を達成する指標を含む複数の最適な指標を同定することを示した。
• 参考スコア（独自算出の注目度）: 1.3654846342364308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper shows that a wide class of effective learning rules -- those that improve a scalar performance measure over a given time window -- can be rewritten as natural gradient descent with respect to a suitably defined loss function and metric. Specifically, we show that parameter updates within this class of learning rules can be expressed as the product of a symmetric positive definite matrix (i.e., a metric) and the negative gradient of a loss function. We also demonstrate that these metrics have a canonical form and identify several optimal ones, including the metric that achieves the minimum possible condition number. The proofs of the main results are straightforward, relying only on elementary linear algebra and calculus, and are applicable to continuous-time, discrete-time, stochastic, and higher-order learning rules, as well as loss functions that explicitly depend on time.
• Abstract（参考訳）: 本稿では, 与えられた時間窓上でスカラー性能を向上する学習ルールを, 適切に定義された損失関数や計量に対して, 自然な勾配勾配として書き直すことができることを示す。 具体的には、この学習規則のクラス内でのパラメータ更新を、対称正定値行列(例えば、計量)と損失関数の負の勾配の積として表現できることを示す。 また、これらの指標は正準形式を持ち、最小条件数を達成する指標を含む複数の最適な指標を同定することを示した。 主な結果の証明は単純で、基本線型代数や計算にのみ依存し、連続時間、離散時間、確率的、高次学習規則、および時間に明示的に依存する損失関数にも適用できる。

関連論文リスト

• Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
  時間差差(TD)学習は、おそらく政策評価に最も広く使用されるものであり、この目的の自然な枠組みとして機能する。 本稿では,Polyak-Ruppert平均化と線形関数近似によるTD学習の整合性について検討し,既存の結果よりも3つの重要な改善点を得た。
  論文  参考訳（メタデータ） (2024-10-21T15:34:44Z)
• Rethinking The Uniformity Metric in Self-Supervised Learning [20.040558579232105]
  統一性は学習した表現を評価する上で重要な役割を担い、自己指導型学習に対する洞察を提供する。 citetWang 2020UnderstandingCRによって提案された均一性指標は、これらの特性の大部分を満たすことができない。 これらの制限を克服するために、ワッサーシュタイン距離に基づく新しい均一度計量を導入する。
  論文  参考訳（メタデータ） (2024-03-01T16:22:05Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Efficient and Near-Optimal Smoothed Online Learning for Generalized Linear Functions [28.30744223973527]
  我々は,K-wise線形分類において,統計学的に最適なログ(T/sigma)の後悔を初めて楽しむ計算効率のよいアルゴリズムを提案する。 一般化線形分類器によって誘導される不一致領域の幾何学の新たな特徴付けを開発する。
  論文  参考訳（メタデータ） (2022-05-25T21:31:36Z)
• Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism [65.46524775457928]
  オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。 線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
  論文  参考訳（メタデータ） (2022-03-11T09:00:12Z)
• Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
  本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。 学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。 本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
  論文  参考訳（メタデータ） (2022-03-02T22:35:58Z)
• Comparing Classes of Estimators: When does Gradient Descent Beat Ridge Regression in Linear Models? [46.01087792062936]
  クラス内のEmphbestメソッドの相対的性能による推定器のクラスの比較を行う。 これにより、学習アルゴリズムのチューニング感度を厳格に定量化できます。
  論文  参考訳（メタデータ） (2021-08-26T16:01:37Z)
• Learning Linearized Assignment Flows for Image Labeling [70.540936204654]
  画像ラベリングのための線形化代入フローの最適パラメータを推定するための新しいアルゴリズムを提案する。 この式をKrylov部分空間と低ランク近似を用いて効率的に評価する方法を示す。
  論文  参考訳（メタデータ） (2021-08-02T13:38:09Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Handling the Positive-Definite Constraint in the Bayesian Learning Rule [33.87717973872535]
  ベイズ学習規則 (Bayes learning rule) は自然段階的な変分推論法である。 変動パラメータがオープンな制約セットにある場合、ルールは制約を満たすことができず、アルゴリズムを遅くする線探索を必要とする。 我々の研究は、パラメータ空間における正定値制約の存在下での規則の適用を容易にする。
  論文  参考訳（メタデータ） (2020-02-24T03:29:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。