論文の概要: The Backpropagation algorithm for a math student

• arxiv url: http://arxiv.org/abs/2301.09977v3
• Date: Wed, 31 May 2023 23:37:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-03 00:41:50.662230
• Title: The Backpropagation algorithm for a math student
• Title（参考訳）: 数学生のためのバックプロパゲーションアルゴリズム
• Authors: Saeed Damadi, Golnaz Moharrer, Mostafa Cham
• Abstract要約: ディープニューラルネットワーク(Deep Neural Network, DNN)は、ベクトル値関数の合成関数である。 DNNの損失関数の勾配は、多数のパラメータを持つ複数の非線形関数からなる構成である。 本稿では,ヤコビアン演算子を用いた行列乗算による損失関数の勾配を表現することを目的とする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A Deep Neural Network (DNN) is a composite function of vector-valued functions, and in order to train a DNN, it is necessary to calculate the gradient of the loss function with respect to all parameters. This calculation can be a non-trivial task because the loss function of a DNN is a composition of several nonlinear functions, each with numerous parameters. The Backpropagation (BP) algorithm leverages the composite structure of the DNN to efficiently compute the gradient. As a result, the number of layers in the network does not significantly impact the complexity of the calculation. The objective of this paper is to express the gradient of the loss function in terms of a matrix multiplication using the Jacobian operator. This can be achieved by considering the total derivative of each layer with respect to its parameters and expressing it as a Jacobian matrix. The gradient can then be represented as the matrix product of these Jacobian matrices. This approach is valid because the chain rule can be applied to a composition of vector-valued functions, and the use of Jacobian matrices allows for the incorporation of multiple inputs and outputs. By providing concise mathematical justifications, the results can be made understandable and useful to a broad audience from various disciplines.
• Abstract（参考訳）: ディープニューラルネットワーク(Deep Neural Network, DNN)は, ベクトル値関数の合成関数であり, DNNを訓練するためには, 全てのパラメータに対する損失関数の勾配を計算する必要がある。 この計算は、dnnの損失関数が複数の非線形関数の合成であり、それぞれに多数のパラメータを持つため、非自明なタスクである。 バックプロパゲーション(BP)アルゴリズムはDNNの合成構造を利用して勾配を効率的に計算する。 その結果、ネットワーク内のレイヤ数は計算の複雑さに大きく影響しない。 本稿では,ジャコビアン作用素を用いた行列乗法を用いて損失関数の勾配を表現することを目的とする。 これは各層のパラメータに対する全微分を考慮し、ジャコビアン行列として表現することで達成できる。 勾配はこれらのヤコビ行列の行列積として表すことができる。 このアプローチはベクトル値関数の合成に連鎖則を適用することができ、ヤコビ行列を用いることで複数の入力と出力を組み込むことができるので有効である。 簡潔な数学的正当化を提供することで、様々な分野から幅広い読者にその結果を理解し有用にすることができる。

関連論文リスト

• Knowledge Composition using Task Vectors with Learned Anisotropic Scaling [51.4661186662329]
  本稿では,パラメータブロックと異なる学習係数を線形に組み合わせ,タスクベクトルレベルでの異方性スケーリングを実現するアルゴリズムであるaTLASを紹介する。 このような線形結合は事前学習されたモデルの低内在性を明示的に利用しており、学習可能なパラメータは数係数のみであることを示す。 本稿では,タスク算術,少数ショット認識,テスト時間適応において,教師なしあるいは教師なしの目的を用いた手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-07-03T07:54:08Z)
• AnyLoss: Transforming Classification Metrics into Loss Functions [21.34290540936501]
  評価指標は、バイナリ分類タスクにおけるモデルの性能を評価するために使用することができる。 ほとんどのメトリクスは、非微分可能形式の混乱行列から派生しており、直接最適化できる微分可能損失関数を生成することは困難である。 本稿では,任意の混乱行列に基づく計量を,最適化プロセスで利用可能な損失関数 textitAnyLoss に変換する汎用的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:14:16Z)
• Accelerating Fractional PINNs using Operational Matrices of Derivative [0.24578723416255746]
  本稿では,分数次物理学情報ニューラルネットワーク(fPINN)の学習を高速化する新しい演算行列法を提案する。 提案手法では、カプトー型分数微分問題において、0alpha1$での分数導関数の高速な計算を容易にする。 提案手法の有効性は,遅延微分方程式 (DDE) や微分代数方程式 (DAE) など,様々な微分方程式にまたがって検証される。
  論文  参考訳（メタデータ） (2024-01-25T11:00:19Z)
• Combinatory Adjoints and Differentiation [0.0]
  機能解析におけるカテゴリー構造に基づく自動的および記号的微分のための構成的アプローチを開発する。 本稿では,線形関数を生成する微分計算を用いて,記号的および自動微分が可能であることを示す。 また、行列を使わずに微分の随伴を記号的に計算する計算も提供する。
  論文  参考訳（メタデータ） (2022-07-02T14:34:54Z)
• Optimization-based Block Coordinate Gradient Coding for Mitigating Partial Stragglers in Distributed Learning [58.91954425047425]
  本稿では,分散学習における部分トラグラーの緩和を目的とした,新たな勾配符号化方式を提案する。 L の符号パラメータを L に表わした勾配座標符号化方式を提案する。
  論文  参考訳（メタデータ） (2022-06-06T09:25:40Z)
• SPINE: Soft Piecewise Interpretable Neural Equations [0.0]
  完全に接続されたネットワークはユビキタスだが解釈不能である。 本論文は,個々の部品に設定操作を施すことにより,ピースワイズに新しいアプローチを採っている(一部)。 完全に接続されたレイヤを解釈可能なレイヤに置き換えなければならない、さまざまなアプリケーションを見つけることができる。
  論文  参考訳（メタデータ） (2021-11-20T16:18:00Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Nonlinear Matrix Approximation with Radial Basis Function Components [0.06922389632860546]
  本稿では,放射基底関数 (RBF) 成分の和への分解による行列近似の導入と検討を行う。 提案手法は, 行列型に同じ$L$-errorで近似するために必要なメモリを劇的に削減し, SVDよりも高い性能を示す。
  論文  参考訳（メタデータ） (2021-06-03T17:37:41Z)
• Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds [71.94111815357064]
  科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。 低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
  論文  参考訳（メタデータ） (2021-03-27T19:56:00Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)
• Automatic Differentiation in ROOT [62.997667081978825]
  数学と計算機代数において、自動微分 (AD) は、コンピュータプログラムによって指定された関数の微分を評価するための一連の技術である。 本稿では、任意のC/C++関数の導関数を生成するために、ClingがサポートするROOTで利用可能なAD技術を提案する。
  論文  参考訳（メタデータ） (2020-04-09T09:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。