論文の概要: Fractional-order Jacobian Matrix Differentiation and Its Application in Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2506.07408v1
• Date: Mon, 09 Jun 2025 04:04:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 21:10:47.111964
• Title: Fractional-order Jacobian Matrix Differentiation and Its Application in Artificial Neural Networks
• Title（参考訳）: フラクショナルオーダージャコビアン行列の微分とニューラルネットワークへの応用
• Authors: Xiaojun zhou, Chunna Zhao, Yaqun Huang, Chengli Zhou, Junjie Ye, Kemeng Xiang,
• Abstract要約: 本稿では,自動微分(Autograd)技術と完全に互換性のある分数次行列微分計算法を提案する。 線形加群と分数次微分に基づいて、隠れ層における分数次微分の利用を可能にする分数次オートグレード技術を設計する。 深層学習の分野では優れた分数次勾配降下法であることが証明された。
• 参考スコア（独自算出の注目度）: 11.848665296424024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fractional-order differentiation has many characteristics different from integer-order differentiation. These characteristics can be applied to the optimization algorithms of artificial neural networks to obtain better results. However, due to insufficient theoretical research, at present, there is no fractional-order matrix differentiation method that is perfectly compatible with automatic differentiation (Autograd) technology. Therefore, we propose a fractional-order matrix differentiation calculation method. This method is introduced by the definition of the integer-order Jacobian matrix. We denote it as fractional-order Jacobian matrix differentiation (${{\bf{J}}^\alpha }$). Through ${{\bf{J}}^\alpha }$, we can carry out the matrix-based fractional-order chain rule. Based on the Linear module and the fractional-order differentiation, we design the fractional-order Autograd technology to enable the use of fractional-order differentiation in hidden layers, thereby enhancing the practicality of fractional-order differentiation in deep learning. In the experiment, according to the PyTorch framework, we design fractional-order Linear (FLinear) and replace nn.Linear in the multilayer perceptron with FLinear. Through the qualitative analysis of the training set and validation set $Loss$, the quantitative analysis of the test set indicators, and the analysis of time consumption and GPU memory usage during model training, we verify the superior performance of ${{\bf{J}}^\alpha }$ and prove that it is an excellent fractional-order gradient descent method in the field of deep learning.
• Abstract（参考訳）: 分数次微分は整数次微分とは異なる特徴を持つ。 これらの特徴は、より優れた結果を得るために、人工ニューラルネットワークの最適化アルゴリズムに適用することができる。 しかし、理論的な研究が不十分なため、現時点では自動微分(Autograd)技術と完全に互換性のある分数次行列微分法は存在しない。 そこで本研究では,分数次行列微分計算法を提案する。 この方法は整数階ヤコビ行列の定義によってもたらされる。 これを分階ヤコビ行列微分({{\bf{J}}^\alpha }$)と表現する。 ${{\bf{J}}^\alpha }$により、行列ベースの分数次連鎖則を実行することができる。 線形加群と分数次微分に基づいて,隠れ層における分数次微分を可能とし,深層学習における分数次微分の実用性を向上させるために,分数次オートグレード技術を設計する。 実験では、PyTorchフレームワークによれば、分数次線形(FLinear)を設計し、多層パーセプトロンのnn.LinearをFLinearに置き換える。 トレーニングセットの質的分析と検証セット$Loss$、テストセットインジケータの定量分析、モデルトレーニング中の時間消費とGPUメモリ使用量の分析を通じて、${{{\bf{J}}^\alpha }$の優れた性能を検証し、ディープラーニング分野における優れた分数次勾配降下法であることを証明した。

関連論文リスト

• A backward differential deep learning-based algorithm for solving high-dimensional nonlinear backward stochastic differential equations [0.6040014326756179]
  本稿では,高次元非線形逆微分方程式を解くための新しい逆微分深層学習アルゴリズムを提案する。 ディープニューラルネットワーク(DNN)モデルは、入力やラベルだけでなく、対応するラベルの差分に基づいて訓練される。
  論文  参考訳（メタデータ） (2024-04-12T13:05:35Z)
• Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
  本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。 本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
  論文  参考訳（メタデータ） (2024-02-14T16:10:42Z)
• Accelerating Fractional PINNs using Operational Matrices of Derivative [0.24578723416255746]
  本稿では,分数次物理学情報ニューラルネットワーク(fPINN)の学習を高速化する新しい演算行列法を提案する。 提案手法では、カプトー型分数微分問題において、0alpha1$での分数導関数の高速な計算を容易にする。 提案手法の有効性は,遅延微分方程式 (DDE) や微分代数方程式 (DAE) など,様々な微分方程式にまたがって検証される。
  論文  参考訳（メタデータ） (2024-01-25T11:00:19Z)
• DFWLayer: Differentiable Frank-Wolfe Optimization Layer [33.20550212188619]
  ニューラルネットワークに基づく機械学習の分野において、差別化可能な最適化は基礎的な役割を担っているため、かなりの注目を集めている。 本稿では,Frank-Wolfe法をロールアウトした微分可能なFrank-Wolfe Layer (DFWLayer)を提案する。 実験の結果、DFWLayerは解と勾配の競争精度を得るだけでなく、制約に一貫して従うことを示した。
  論文  参考訳（メタデータ） (2023-08-21T15:53:38Z)
• Neural incomplete factorization: learning preconditioners for the conjugate gradient method [2.899792823251184]
  我々は、効率的なプレコンディショナーの生成を加速するためのデータ駆動型アプローチを開発する。 一般的に手動のプリコンディショナーをグラフニューラルネットワークの出力に置き換える。 本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
  論文  参考訳（メタデータ） (2023-05-25T11:45:46Z)
• High-Order Multilinear Discriminant Analysis via Order-$\textit{n}$ Tensor Eigendecomposition [0.0]
  本稿では,高次マルチリニア判別分析(HOMLDA)と呼ばれるテンソルベースマルチリニア判別分析への新しいアプローチを提案する。 提案手法は,現在のタッカー分解に基づく教師あり学習法に対して,分類性能の向上を実現する。
  論文  参考訳（メタデータ） (2022-05-18T19:49:54Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。