論文の概要: Mirror Descent and Novel Exponentiated Gradient Algorithms Using Trace-Form Entropies and Deformed Logarithms

• arxiv url: http://arxiv.org/abs/2503.08748v4
• Date: Tue, 28 Oct 2025 15:01:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 17:50:19.999465
• Title: Mirror Descent and Novel Exponentiated Gradient Algorithms Using Trace-Form Entropies and Deformed Logarithms
• Title（参考訳）: トレース形式エントロピーと変形対数を用いたミラーディフレッシュと新しい指数勾配アルゴリズム
• Authors: Andrzej Cichocki, Toshihisa Tanaka, Frank Nielsen, Sergio Cruces,
• Abstract要約: 本稿では,ミラー輝き(MD)と一般化指数勾配(GEG)アルゴリズムについて紹介する。 これらの一般化エントロピーを活用することで、MD & GEGアルゴリズムは収束挙動の改善、消滅と爆発勾配への堅牢性、非ユークリッド幾何学への固有の適応性をもたらす。
• 参考スコア（独自算出の注目度）: 17.422938130292827
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper introduces a broad class of Mirror Descent (MD) and Generalized Exponentiated Gradient (GEG) algorithms derived from trace-form entropies defined via deformed logarithms. Leveraging these generalized entropies yields MD \& GEG algorithms with improved convergence behavior, robustness to vanishing and exploding gradients, and inherent adaptability to non-Euclidean geometries through mirror maps. We establish deep connections between these methods and Amari's natural gradient, revealing a unified geometric foundation for additive, multiplicative, and natural gradient updates. Focusing on the Tsallis, Kaniadakis, Sharma--Taneja--Mittal, and Kaniadakis--Lissia--Scarfone entropy families, we show that each entropy induces a distinct Riemannian metric on the parameter space, leading to GEG algorithms that preserve the natural statistical geometry. The tunable parameters of deformed logarithms enable adaptive geometric selection, providing enhanced robustness and convergence over classical Euclidean optimization. Overall, our framework unifies key first-order MD optimization methods under a single information-geometric perspective based on generalized Bregman divergences, where the choice of entropy determines the underlying metric and dual geometric structure.
• Abstract（参考訳）: 本稿では、変形対数によって定義されたトレース形式エントロピーから導かれる、ミラー輝き(MD)と一般化指数勾配(GEG)アルゴリズムについて紹介する。 これらの一般化エントロピーを活用することで、MD \& GEGアルゴリズムは収束挙動の改善、消滅と爆発勾配への堅牢性、ミラーマップによる非ユークリッド幾何学への固有の適応性をもたらす。 これらの手法とAmariの自然勾配との深い関係を確立し、加法的・乗法的・自然勾配的更新のための統一的な幾何学的基礎を明らかにする。 Tsallis, Kaniadakis, Sharma--Taneja-Mittal, and Kaniadakis--Lissia--Scarfone entropy family に着目して、それぞれのエントロピーがパラメータ空間上で異なるリーマン計量を誘導し、自然統計幾何学を保存するEGGアルゴリズムが導かれることを示した。 変形した対数のチューナブルパラメータは適応的な幾何選択を可能にし、古典的ユークリッド最適化よりも強靭性と収束性を高める。 全体として、我々のフレームワークは、一般化されたブレグマン発散に基づく単一の情報幾何学的視点の下で重要な一階MD最適化手法を統一し、エントロピーの選択が基礎となる計量と双対幾何構造を決定する。

関連論文リスト

• Mirror Descent Using the Tempesta Generalized Multi-parametric Logarithms [14.572732893433825]
  我々は,機械学習において重要な役割を担っている広いクラスミラー・ディフレッシュ(MD)アルゴリズムを開発した。 本稿では,リンク関数としてテンペスタ多パラメータ変形対数を用いたブレグマン偏差を利用する。 我々は、MD とミラーレス MD アップデートの、より広範で柔軟なファミリーを新たに生成する。
  論文  参考訳（メタデータ） (2025-06-08T17:48:44Z)
• NeuralGrok: Accelerate Grokking by Neural Gradient Transformation [54.65707216563953]
  算術的タスクにおける変換器の一般化を高速化する最適勾配変換を学習する勾配に基づく手法であるNeuralGrokを提案する。 実験により,NeuralGrokは一般化を著しく加速することが示された。 また、NeuralGrokはより安定したトレーニングパラダイムを促進し、モデルの複雑さを常に低減します。
  論文  参考訳（メタデータ） (2025-04-24T04:41:35Z)
• Generalized Exponentiated Gradient Algorithms Using the Euler Two-Parameter Logarithm [14.572732893433825]
  本稿では,ミラー・ディフレッシュ (MD) アプローチを用いたGEGアルゴリズムの新たなクラスを提案し,検討する。 一般化エントロピーと関連する変形対数の概念は、新しい勾配降下更新について深い洞察を与える。
  論文  参考訳（メタデータ） (2025-02-21T11:05:04Z)
• Regularized dynamical parametric approximation of stiff evolution problems [0.0]
  非線形パラメトリゼーションのクラスを$ u(t) = Phi(theta(t)) $ で調べ、進化パラメータ $theta(t)$ を計算する。 主な焦点は、固い進化問題と不規則なパラメトリゼーションの組み合わせによって生じる課題に対処することである。
  論文  参考訳（メタデータ） (2025-01-21T13:29:36Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Advective Diffusion Transformers for Topological Generalization in Graph Learning [69.2894350228753]
  グラフ拡散方程式は、様々なグラフトポロジーの存在下で、どのように外挿して一般化するかを示す。 本稿では,新たなグラフエンコーダのバックボーンであるAdvective Diffusion Transformer (ADiT)を提案する。
  論文  参考訳（メタデータ） (2023-10-10T08:40:47Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Generalized Optimization: A First Step Towards Category Theoretic Learning Theory [1.52292571922932]
  我々は、勾配勾配勾配の直接一般化やニュートン法の新しい一般化など、いくつかの最適化アルゴリズムを一般化する。 これらのアルゴリズムの変換不変性が保存されていることを示す。 また,内積様表現を用いて一般化降下の損失の変化を表現できることも示している。
  論文  参考訳（メタデータ） (2021-09-20T15:19:06Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Polygonal Unadjusted Langevin Algorithms: Creating stable and efficient adaptive algorithms for neural networks [0.0]
  本稿では,Langevinベースのアルゴリズムを新たに導入し,一般的な適応的消滅アルゴリズムの欠点の多くを克服する。 特に、この新しいクラスのアルゴリズムの収束性についての漸近解析と完全な理論的保証を提供し、TH$varepsilon$O POULA(あるいは単にTheoPouLa)と名付けた。
  論文  参考訳（メタデータ） (2021-05-28T15:58:48Z)
• Efficient Variational Bayesian Structure Learning of Dynamic Graphical Models [19.591265962713837]
  時間変化のグラフィカルモデルの推定は、様々な社会的、経済的、生物学的、工学的システムにおいて最重要となる。 既存の手法では、グラフの間隔と時間的滑らかさを制御するパラメータを広範囲にチューニングする必要がある。 我々はBADGEという低複素性チューニング自由ベイズアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-16T14:19:23Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• The data-driven physical-based equations discovery using evolutionary approach [77.34726150561087]
  与えられた観測データから数学的方程式を発見するアルゴリズムについて述べる。 このアルゴリズムは遺伝的プログラミングとスパース回帰を組み合わせたものである。 解析方程式の発見や偏微分方程式(PDE)の発見にも用いられる。
  論文  参考訳（メタデータ） (2020-04-03T17:21:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。