論文の概要: Generalized Exponentiated Gradient Algorithms Using the Euler Two-Parameter Logarithm

• arxiv url: http://arxiv.org/abs/2502.17500v1
• Date: Fri, 21 Feb 2025 11:05:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:22:55.451096
• Title: Generalized Exponentiated Gradient Algorithms Using the Euler Two-Parameter Logarithm
• Title（参考訳）: オイラー2パラメータ対数を用いた一般化指数勾配アルゴリズム
• Authors: Andrzej Cichocki,
• Abstract要約: 本稿では,ミラー・ディフレッシュ (MD) アプローチを用いたGEGアルゴリズムの新たなクラスを提案し,検討する。 一般化エントロピーと関連する変形対数の概念は、新しい勾配降下更新について深い洞察を与える。
• 参考スコア（独自算出の注目度）: 14.572732893433825
• License:
• Abstract: In this paper we propose and investigate a new class of Generalized Exponentiated Gradient (GEG) algorithms using Mirror Descent (MD) approaches, and applying as a regularization function the Bregman divergence with two-parameter deformation of logarithm as a link function. This link function (referred to as the Euler logarithm) is associated with a wide class of generalized entropies. In order to derive novel GEG/MD updates, we estimate generalized exponential function, which closely approximates the inverse of the Euler two-parameter logarithm. The characteristic/shape and properties of the Euler logarithm and its inverse -- deformed exponential functions are tuned by two or even more hyperparameters. By learning these hyperparameters, we can adapt to distribution of training data, and we can adjust them to achieve desired properties of gradient descent algorithms. The concept of generalized entropies and associated deformed logarithms provide deeper insight into novel gradient descent updates. In literature, there exist nowadays over fifty mathematically well-defined entropic functionals and associated deformed logarithms, so impossible to investigate all of them in one research paper. Therefore, we focus here on a wide-class of trace-form entropies and associated generalized logarithm. We applied the developed algorithms for Online Portfolio Selection (OPLS) in order to improve its performance and robustness.
• Abstract（参考訳）: 本稿では,ミラー・ディフレッシュ (MD) アプローチを用いた一般化指数勾配 (GEG) アルゴリズムの新たなクラスを提案し,リンク関数として対数2パラメータの変形を伴うブレグマン偏差を正規化関数として適用する。 このリンク関数(オイラー対数(英語版)(Euler logarithm)と呼ばれる)は、一般化エントロピーの幅広いクラスに関連付けられる。 新たなEGG/MD更新を導出するために,オイラー2パラメータ対数の逆を近似した一般化指数関数を推定する。 オイラー対数の性質と性質は、変形した指数関数を2つ以上の超パラメータで調整する。 これらのハイパーパラメータを学習することにより、トレーニングデータの分布に適応し、勾配降下アルゴリズムの望ましい特性を達成するように調整することができる。 一般化エントロピーと関連する変形対数の概念は、新しい勾配降下更新について深い洞察を与える。 文学では、現在50以上の数学的に明確に定義されたエントロピー汎関数と関連する変形対数が存在するため、これら全てを1つの研究論文で調べることは不可能である。 したがって、ここではトレース形式エントロピーの幅広いクラスと関連する一般化対数に焦点をあてる。 開発したアルゴリズムをOPLS(Online Portfolio Selection)に適用し,その性能とロバスト性を向上した。

関連論文リスト

• Regularized dynamical parametric approximation of stiff evolution problems [0.0]
  非線形パラメトリゼーションのクラスを$ u(t) = Phi(theta(t)) $ で調べ、進化パラメータ $theta(t)$ を計算する。 主な焦点は、固い進化問題と不規則なパラメトリゼーションの組み合わせによって生じる課題に対処することである。
  論文  参考訳（メタデータ） (2025-01-21T13:29:36Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• On the connections between optimization algorithms, Lyapunov functions, and differential equations: theory and insights [0.0]
  Fazylabらによって導入されたフレームワークを再検討し、離散的かつ連続的な時間で最適化アルゴリズムのためのLyapunov関数を構築する。 滑らかで強凸な目的関数に対して、そのような構成に必要な要求を緩和する。 文献で利用できるものよりも良い収束率を証明します。
  論文  参考訳（メタデータ） (2023-05-15T14:03:16Z)
• A Constrained BA Algorithm for Rate-Distortion and Distortion-Rate Functions [13.570794979535934]
  速度歪み関数に対するBlahut-Arimoto (BA)アルゴリズムの修正 修正アルゴリズムは、与えられた対象歪みに対してRD関数を直接計算する。
  論文  参考訳（メタデータ） (2023-05-04T08:41:03Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• SigGPDE: Scaling Sparse Gaussian Processes on Sequential Data [16.463077353773603]
  SigGPDEは,ガウス過程(GP)を逐次データに基づいて拡張可能な分散変動推論フレームワークである。 GPシグネチャカーネルの勾配は双曲偏微分方程式(PDE)の解であることを示す。 この理論的な洞察により、ELBOを最適化する効率的なバックプロパゲーションアルゴリズムを構築することができる。
  論文  参考訳（メタデータ） (2021-05-10T09:10:17Z)
• The data-driven physical-based equations discovery using evolutionary approach [77.34726150561087]
  与えられた観測データから数学的方程式を発見するアルゴリズムについて述べる。 このアルゴリズムは遺伝的プログラミングとスパース回帰を組み合わせたものである。 解析方程式の発見や偏微分方程式(PDE)の発見にも用いられる。
  論文  参考訳（メタデータ） (2020-04-03T17:21:57Z)
• Efficient improper learning for online logistic regression [68.8204255655161]
  サンプル数 n の対数的後悔を持つ任意の正則アルゴリズムは、必然的に B の指数乗法定数を損なうことが知られている。 本研究では、対数的後悔を保ちながら、この指数定数を回避する効率的な不適切なアルゴリズムを設計する。 シュロゲート損失を伴う正規化経験的リスク最小化に基づく新しいアルゴリズムは、O(B log(Bn))として、オーダーO(d2)の1回あたりの時間複雑度で、後悔のスケーリングを満足させる。
  論文  参考訳（メタデータ） (2020-03-18T09:16:14Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。