論文の概要: Group Entropies and Mirror Duality: A Class of Flexible Mirror Descent Updates for Machine Learning

• arxiv url: http://arxiv.org/abs/2603.08651v1
• Date: Mon, 09 Mar 2026 17:31:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:16.608818
• Title: Group Entropies and Mirror Duality: A Class of Flexible Mirror Descent Updates for Machine Learning
• Title（参考訳）: グループエントロピーとミラー双対性: 機械学習のためのフレキシブルなミラーディフレッシュアップデートのクラス
• Authors: Andrzej Cichocki, Piergiulio Tempesta,
• Abstract要約: 正規群理論と群エントロピーを現代の機械学習にブリッジする包括的理論的・アルゴリズム的枠組みを導入する。 提案手法は群合成法則によって支配される一般化エントロピー汎函数である群エントロピーの豊富な構造を利用する。
• 参考スコア（独自算出の注目度）: 8.605564917115663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a comprehensive theoretical and algorithmic framework that bridges formal group theory and group entropies with modern machine learning, paving the way for an infinite, flexible family of Mirror Descent (MD) optimization algorithms. Our approach exploits the rich structure of group entropies, which are generalized entropic functionals governed by group composition laws, encompassing and significantly extending all trace-form entropies such as the Shannon, Tsallis, and Kaniadakis families. By leveraging group-theoretical mirror maps (or link functions) in MD, expressed via multi-parametric generalized logarithms and their inverses (group exponentials), we achieve highly flexible and adaptable MD updates that can be tailored to diverse data geometries and statistical distributions. To this end, we introduce the notion of \textit{mirror duality}, which allows us to seamlessly switch or interchange group-theoretical link functions with their inverses, subject to specific learning rate constraints. By tuning or learning the hyperparameters of the group logarithms enables us to adapt the model to the statistical properties of the training distribution, while simultaneously ensuring desirable convergence characteristics via fine-tuning. This generality not only provides greater flexibility and improved convergence properties, but also opens new perspectives for applications in machine learning and deep learning by expanding the design of regularizers and natural gradient algorithms. We extensively evaluate the validity, robustness, and performance of the proposed updates on large-scale, simplex-constrained quadratic programming problems.
• Abstract（参考訳）: 我々は,形式的群論と群エントロピーを現代の機械学習にブリッジする包括的な理論的・アルゴリズム的枠組みを導入し,ミラー・ディフレクション(MD)最適化アルゴリズムの無限で柔軟なファミリへの道を開く。 提案手法は群構成法則によって支配される一般化されたエントロピー汎関数である群エントロピーの豊富な構造を利用して,シャノン,ツァリス,カニアダキスといったすべてのトレース形式エントロピーを包含し,著しく拡張する。 多パラメータ一般化対数とその逆数(群指数)で表されるMDの群論的ミラーマップ(リンク関数)を利用することで、多様なデータジオメトリや統計分布に合わせて高度に柔軟で適応可能なMD更新を実現する。 この目的のために,特定の学習速度制約を条件として,群-理論的リンク関数をその逆でシームレスに切り替えたり,交換したりできる「textit{mirror duality」の概念を導入する。 群対数のハイパーパラメータをチューニングまたは学習することにより、モデルがトレーニング分布の統計特性に適応すると同時に、微調整により望ましい収束特性を確保できる。 この一般化は、柔軟性の向上と収束性の向上を提供するだけでなく、正規化器と自然勾配アルゴリズムの設計を拡張して機械学習とディープラーニングの応用に新たな視点を開く。 本稿では,大規模で単純な2次計画問題に対する更新提案の有効性,堅牢性,性能を広く評価する。

関連論文リスト

• Deep Unfolding: Recent Developments, Theory, and Design Guidelines [99.63555420898554]
  この記事では、最適化アルゴリズムを構造化されたトレーニング可能なMLアーキテクチャに変換するフレームワークであるDeep Unfoldingのチュートリアルスタイルの概要を提供する。 推論と学習のための最適化の基礎を概観し、深層展開のための4つの代表的な設計パラダイムを導入し、その反復的な性質から生じる特有なトレーニングスキームについて議論する。
  論文  参考訳（メタデータ） (2025-12-03T13:16:35Z)
• Discovering Abstract Symbolic Relations by Learning Unitary Group Representations [7.303827428956944]
  記号演算完了(SOC)の原理的アプローチについて検討する。 SOCは離散記号間の抽象的関係をモデル化する際、ユニークな挑戦となる。 SOCは最小限のモデル(双線型写像)で、新しい分解アーキテクチャで効率的に解けることを実証する。
  論文  参考訳（メタデータ） (2024-02-26T20:18:43Z)
• PAC-Chernoff Bounds: Understanding Generalization in the Interpolation Regime [6.645111950779666]
  本稿では,補間器の完全密度を示す分布依存型PAC-Chernoff境界を提案する。 我々は、ある補間子がなぜ例外的な一般化を示すのかを示す統一的な理論的枠組みを提示する。
  論文  参考訳（メタデータ） (2023-06-19T14:07:10Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Variational Hierarchical Mixtures for Probabilistic Learning of Inverse Dynamics [20.953728061894044]
  適切に校正された確率回帰モデルは、データセットが急速に成長し、タスクがより複雑になるにつれて、ロボットアプリケーションにおいて重要な学習要素である。 計算効率のよい表現と計算複雑性の正規化を両世界の利点と組み合わせた確率論的階層的モデリングパラダイムを考察する。 これらの表現を学習するための2つの効率的な変分推論手法を導出し、階層的無限局所回帰モデルの利点を強調する。
  論文  参考訳（メタデータ） (2022-11-02T13:54:07Z)
• Harnessing Heterogeneity: Learning from Decomposed Feedback in Bayesian Modeling [68.69431580852535]
  サブグループフィードバックを取り入れた新しいGPレグレッションを導入する。 我々の修正された回帰は、以前のアプローチと比べて、明らかにばらつきを減らし、したがってより正確な後続を減らした。 我々は2つの異なる社会問題に対してアルゴリズムを実行する。
  論文  参考訳（メタデータ） (2021-07-07T03:57:22Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。