論文の概要: Natural Riemannian gradient for learning functional tensor networks

• arxiv url: http://arxiv.org/abs/2604.09263v1
• Date: Fri, 10 Apr 2026 12:25:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.853262
• Title: Natural Riemannian gradient for learning functional tensor networks
• Title（参考訳）: 関数テンソルネットワーク学習のための自然リーマン勾配
• Authors: Nikolas Klug, Michael Ulbrich, Marius Willner, André Uschmajew,
• Abstract要約: 低ランク機能木テンソルネットワーク(TTN)を用いた機械学習タスクを学習モデルとして検討する。 我々のフレームワークは、関数TTNを表現するための因子化と多様体ベースのアプローチの両方に適用できる。
• 参考スコア（独自算出の注目度）: 0.08999666725996974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider machine learning tasks with low-rank functional tree tensor networks (TTN) as the learning model. While in the case of least-squares regression, low-rank functional TTNs can be efficiently optimized using alternating optimization, this is not directly possible in other problems, such as multinomial logistic regression. We propose a natural Riemannian gradient descent type approach applicable to arbitrary losses which is based on the natural gradient by Amari. In particular, the search direction obtained by the natural gradient is independent of the choice of basis of the underlying functional tensor product space. Our framework applies to both the factorized and manifold-based approach for representing the functional TTN. For practical application, we propose a hierarchy of efficient approximations to the true natural Riemannian gradient for computing the updates in the parameter space. Numerical experiments confirm our theoretical findings on common classification datasets and show that using natural Riemannian gradient descent for learning considerably improves convergence behavior when compared to standard Riemannian gradient methods.
• Abstract（参考訳）: 低ランク機能木テンソルネットワーク(TTN)を用いた機械学習タスクを学習モデルとして検討する。 最小二乗回帰の場合、低ランク関数TTNは交互最適化を用いて効率よく最適化できるが、多項ロジスティック回帰のような他の問題では直接できない。 Amari の自然勾配に基づく任意の損失に適用可能な自然リーマン勾配降下型アプローチを提案する。 特に、自然勾配によって得られる探索方向は、基礎となる機能テンソル積空間の基底の選択とは無関係である。 我々のフレームワークは、関数TTNを表現するための因子化と多様体ベースのアプローチの両方に適用できる。 現実的な応用として、パラメータ空間の更新を計算するために、真の自然リーマン勾配に対する効率的な近似の階層構造を提案する。 数値実験により、一般的な分類データセットに関する理論的知見を確認し、学習に自然リーマン勾配勾配を用いると、標準リーマン勾配法と比較して収束挙動が大幅に向上することを示した。

関連論文リスト

• ONG: Orthogonal Natural Gradient Descent [0.0]
  直交自然勾配Descent (ONG) アルゴリズムを導入する。 ONGは、逆フィッシャー情報行列の効率的なEKFAC近似を用いて、それぞれ新しいタスク固有勾配を規定する。 以前に学習したタスクのパフォーマンスを維持するため、ONGはこれらの自然な勾配を以前のタスクの勾配を補完するものとして提案する。
  論文  参考訳（メタデータ） (2025-08-24T00:27:23Z)
• Mathematical analysis of the gradients in deep learning [3.3123773366516645]
  勾配関数は、コスト汎函数が連続的に微分可能なすべての開集合上のコスト汎函数の標準勾配と一致しなければならないことを示す。 一般化された勾配函数は、コスト汎函数が連続的に微分可能なすべての開集合上のコスト汎函数の標準勾配と一致しなければならない。
  論文  参考訳（メタデータ） (2025-01-26T19:11:57Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Achieving High Accuracy with PINNs via Energy Natural Gradients [0.0]
  エネルギー自然勾配から生じる関数空間の更新方向は、モデルの接空間への射影をニュートン方向変調する。 エネルギー自然勾配降下法は,標準勾配降下法あるいはアダム法を用いてPINNを訓練する際に得られるものよりも数桁小さい誤差で高精度な解が得られることを示した。
  論文  参考訳（メタデータ） (2023-02-25T21:17:19Z)
• Tame Riemannian Stochastic Approximation [2.8166046619628315]
  リーマン多様体で定義される制約に従属するテーム非微分可能函数に近似を適用する性質について検討する。 近年の研究では、このタイプの関数がディープニューラルネットワークトレーニング目標の損失景観を忠実にモデル化していることが示されている。
  論文  参考訳（メタデータ） (2023-02-01T19:03:00Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
  本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。 本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。 本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
  論文  参考訳（メタデータ） (2020-11-09T02:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。