論文の概要: Mirror Descent Using the Tempesta Generalized Multi-parametric Logarithms
- arxiv url: http://arxiv.org/abs/2506.13984v1
- Date: Sun, 08 Jun 2025 17:48:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-18 17:34:59.240063
- Title: Mirror Descent Using the Tempesta Generalized Multi-parametric Logarithms
- Title（参考訳）: テンペスタ一般化多パラメータ対数を用いたミラーディフレッシュ
- Authors: Andrzej Cichocki,
- Abstract要約: 我々は,機械学習において重要な役割を担っている広いクラスミラー・ディフレッシュ(MD)アルゴリズムを開発した。
本稿では,リンク関数としてテンペスタ多パラメータ変形対数を用いたブレグマン偏差を利用する。
我々は、MD とミラーレス MD アップデートの、より広範で柔軟なファミリーを新たに生成する。
- 参考スコア（独自算出の注目度）: 14.572732893433825
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we develop a wide class Mirror Descent (MD) algorithms, which play a key role in machine learning. For this purpose we formulated the constrained optimization problem, in which we exploits the Bregman divergence with the Tempesta multi-parametric deformation logarithm as a link function. This link function called also mirror function defines the mapping between the primal and dual spaces and is associated with a very-wide (in fact, theoretically infinite) class of generalized trace-form entropies. In order to derive novel MD updates, we estimate generalized exponential function, which closely approximates the inverse of the multi-parametric Tempesta generalized logarithm. The shape and properties of the Tempesta logarithm and its inverse-deformed exponential functions can be tuned by several hyperparameters. By learning these hyperparameters, we can adapt to distribution or geometry of training data, and we can adjust them to achieve desired properties of MD algorithms. The concept of applying multi-parametric logarithms allow us to generate a new wide and flexible family of MD and mirror-less MD updates.
- Abstract（参考訳）: 本稿では,機械学習において重要な役割を担っているミラー・ディフレッシュ(MD)アルゴリズムについて述べる。
この目的のために、制約付き最適化問題を定式化し、リンク関数としてテンペスタ多パラメータ変形対数を用いたブレグマン偏差を利用する。
ミラー函数と呼ばれるこのリンク関数は、原始空間と双対空間の間の写像を定義し、一般化されたトレース形式エントロピーの非常に広いクラス(理論上は無限)と関連付けられる。
新たなMD更新を導出するために,多パラメータのテンペスタ一般化対数の逆を近似した一般化指数関数を推定する。
テンペスタ対数とその逆変形指数関数の形状と性質は、いくつかのハイパーパラメータによって調整できる。
これらのハイパーパラメータを学習することにより、トレーニングデータの分布や幾何学に適応し、MDアルゴリズムの望ましい特性を達成するように調整することができる。
マルチパラメトリック対数を適用するという概念により、MDとミラーレスMD更新の新しい広範で柔軟なファミリーを生成することができる。
関連論文リスト
- Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。
ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
論文 参考訳（メタデータ） (2025-06-12T17:32:02Z) - Mirror Descent and Novel Exponentiated Gradient Algorithms Using Trace-Form Entropies and Deformed Logarithms [14.283977131819285]
本稿では,ミラー・ディフレッシュ・アップデート (MD) とそれに関連する新しい一般化指数勾配 (GEG) アルゴリズムの提案と検討を行う。
提案アルゴリズムはエントロピーMDの拡張と乗算更新の一般化とみなすことができる。
論文 参考訳（メタデータ） (2025-03-11T10:50:07Z) - Generalized Exponentiated Gradient Algorithms Using the Euler Two-Parameter Logarithm [14.572732893433825]
本稿では,ミラー・ディフレッシュ (MD) アプローチを用いたGEGアルゴリズムの新たなクラスを提案し,検討する。
一般化エントロピーと関連する変形対数の概念は、新しい勾配降下更新について深い洞察を与える。
論文 参考訳（メタデータ） (2025-02-21T11:05:04Z) - Meta-Learning Adversarial Bandit Algorithms [55.72892209124227]
我々は,バンディットフィードバックを用いたオンラインメタラーニングについて研究する。
我々は自己協和障壁正規化器を用いてオンラインミラー降下一般化(OMD)をチューニングすることを学ぶ。
論文 参考訳（メタデータ） (2023-07-05T13:52:10Z) - Adaptive Log-Euclidean Metrics for SPD Matrix Learning [73.12655932115881]
広く使われているログユークリッド計量(LEM)を拡張した適応ログユークリッド計量(ALEM)を提案する。
実験および理論的結果から,SPDニューラルネットワークの性能向上における提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-03-26T18:31:52Z) - Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision
Processes [80.89852729380425]
そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。
我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
論文 参考訳（メタデータ） (2022-12-12T18:58:59Z) - Stochastic Mirror Descent in Average Ensemble Models [38.38572705720122]
ミラー降下 (SMD) はトレーニングアルゴリズムの一般的なクラスであり、特別な場合として、祝い勾配降下 (SGD) を含む。
本稿では,平均場アンサンブルモデルにおけるミラーポテンシャルアルゴリズムの性能について検討する。
論文 参考訳（メタデータ） (2022-10-27T11:04:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。