論文の概要: Mirror Descent and Novel Exponentiated Gradient Algorithms Using Trace-Form Entropies and Deformed Logarithms

• arxiv url: http://arxiv.org/abs/2503.08748v2
• Date: Thu, 20 Mar 2025 06:40:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:32:20.164024
• Title: Mirror Descent and Novel Exponentiated Gradient Algorithms Using Trace-Form Entropies and Deformed Logarithms
• Title（参考訳）: トレース形式エントロピーと変形対数を用いたミラーディフレッシュと新しい指数勾配アルゴリズム
• Authors: Andrzej Cichocki, Toshihisa Tanaka, Sergio Cruces,
• Abstract要約: 本稿では,ミラー・ディフレッシュ・アップデート (MD) とそれに関連する新しい一般化指数勾配 (GEG) アルゴリズムの提案と検討を行う。 提案アルゴリズムはエントロピーMDの拡張と乗算更新の一般化とみなすことができる。
• 参考スコア（独自算出の注目度）: 14.283977131819285
• License:
• Abstract: In this paper we propose and investigate a wide class of Mirror Descent updates (MD) and associated novel Generalized Exponentiated Gradient (GEG) algorithms by exploiting various trace-form entropies and associated deformed logarithms and their inverses - deformed (generalized) exponential functions. The proposed algorithms can be considered as extension of entropic MD and generalization of multiplicative updates. In the literature, there exist nowadays over fifty mathematically well defined generalized entropies, so impossible to exploit all of them in one research paper. So we focus on a few selected most popular entropies and associated logarithms like the Tsallis, Kaniadakis and Sharma-Taneja-Mittal and some of their extension like Tempesta or Kaniadakis-Scarfone entropies. The shape and properties of the deformed logarithms and their inverses are tuned by one or more hyperparameters. By learning these hyperparameters, we can adapt to distribution of training data, which can be designed to the specific geometry of the optimization problem, leading to potentially faster convergence and better performance. The using generalized entropies and associated deformed logarithms in the Bregman divergence, used as a regularization term, provides some new insight into exponentiated gradient descent updates.
• Abstract（参考訳）: 本稿では,様々なトレース形式エントロピーと関連する変形対数とその逆関数(変形(一般化)指数関数)を活用することで,ミラー・ディフレッシュ・アップデート(MD)とそれに関連する新しい一般化指数勾配(GEG)アルゴリズムを提案し,検討する。 提案アルゴリズムはエントロピーMDの拡張と乗算更新の一般化とみなすことができる。 文学では、現在50以上の数学的に明確に定義された一般化エントロピーが存在しており、これら全てを一つの研究論文で活用することは不可能である。 そこで我々は、Tsallis、Kaniadakis、Sharma-Taneja-Mittalのような最も人気のあるエントロピーと関連する対数と、TempestaやKaniadakis-Scarfoneエントロピーのようなそれらの拡張に焦点を当てた。 変形した対数とその逆数の形状と性質は1つ以上のハイパーパラメータによって調整される。 これらのハイパーパラメータを学習することにより、最適化問題の特定の幾何学に適応可能なトレーニングデータの分布に適応し、より高速な収束と性能向上を実現することができる。 正規化項として用いられるブレグマン発散における一般化エントロピーとそれに伴う変形対数の利用は、指数化勾配降下更新に関する新しい洞察を与える。

関連論文リスト

• Regularized dynamical parametric approximation of stiff evolution problems [0.0]
  非線形パラメトリゼーションのクラスを$ u(t) = Phi(theta(t)) $ で調べ、進化パラメータ $theta(t)$ を計算する。 主な焦点は、固い進化問題と不規則なパラメトリゼーションの組み合わせによって生じる課題に対処することである。
  論文  参考訳（メタデータ） (2025-01-21T13:29:36Z)
• Designing a Linearized Potential Function in Neural Network Optimization Using Csiszár Type of Tsallis Entropy [0.0]
  本稿では,Csisz'ar型Tsallisエントロピーを用いた線形化ポテンシャル関数を利用する枠組みを確立する。 新しい枠組みによって指数収束結果が導出できることが示される。
  論文  参考訳（メタデータ） (2024-11-06T02:12:41Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Advective Diffusion Transformers for Topological Generalization in Graph Learning [69.2894350228753]
  グラフ拡散方程式は、様々なグラフトポロジーの存在下で、どのように外挿して一般化するかを示す。 本稿では,新たなグラフエンコーダのバックボーンであるAdvective Diffusion Transformer (ADiT)を提案する。
  論文  参考訳（メタデータ） (2023-10-10T08:40:47Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Generalized Optimization: A First Step Towards Category Theoretic Learning Theory [1.52292571922932]
  我々は、勾配勾配勾配の直接一般化やニュートン法の新しい一般化など、いくつかの最適化アルゴリズムを一般化する。 これらのアルゴリズムの変換不変性が保存されていることを示す。 また,内積様表現を用いて一般化降下の損失の変化を表現できることも示している。
  論文  参考訳（メタデータ） (2021-09-20T15:19:06Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Polygonal Unadjusted Langevin Algorithms: Creating stable and efficient adaptive algorithms for neural networks [0.0]
  本稿では,Langevinベースのアルゴリズムを新たに導入し,一般的な適応的消滅アルゴリズムの欠点の多くを克服する。 特に、この新しいクラスのアルゴリズムの収束性についての漸近解析と完全な理論的保証を提供し、TH$varepsilon$O POULA(あるいは単にTheoPouLa)と名付けた。
  論文  参考訳（メタデータ） (2021-05-28T15:58:48Z)
• Efficient Variational Bayesian Structure Learning of Dynamic Graphical Models [19.591265962713837]
  時間変化のグラフィカルモデルの推定は、様々な社会的、経済的、生物学的、工学的システムにおいて最重要となる。 既存の手法では、グラフの間隔と時間的滑らかさを制御するパラメータを広範囲にチューニングする必要がある。 我々はBADGEという低複素性チューニング自由ベイズアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-16T14:19:23Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• The data-driven physical-based equations discovery using evolutionary approach [77.34726150561087]
  与えられた観測データから数学的方程式を発見するアルゴリズムについて述べる。 このアルゴリズムは遺伝的プログラミングとスパース回帰を組み合わせたものである。 解析方程式の発見や偏微分方程式(PDE)の発見にも用いられる。
  論文  参考訳（メタデータ） (2020-04-03T17:21:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。