論文の概要: Algorithmic Complexities in Backpropagation and Tropical Neural Networks

• arxiv url: http://arxiv.org/abs/2101.00717v1
• Date: Sun, 3 Jan 2021 22:19:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-12 13:47:00.455261
• Title: Algorithmic Complexities in Backpropagation and Tropical Neural Networks
• Title（参考訳）: バックプロパゲーションと熱帯ニューラルネットワークのアルゴリズム複雑さ
• Authors: Ozgur Ceyhan
• Abstract要約: トロピカル算術とトロピカル代数幾何学の観点で人工ニューラルネットワークを紹介します。 熱帯算術は通常の乗算の複雑さがないため、アルゴリズムの複雑さは通常のバックプロパゲーションよりも実質的に低いことを検証します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this note, we propose a novel technique to reduce the algorithmic complexity of neural network training by using matrices of tropical real numbers instead of matrices of real numbers. Since the tropical arithmetics replaces multiplication with addition, and addition with max, we theoretically achieve several order of magnitude better constant factors in time complexities in the training phase. The fact that we replace the field of real numbers with the tropical semiring of real numbers and yet achieve the same classification results via neural networks come from deep results in topology and analysis, which we verify in our note. We then explore artificial neural networks in terms of tropical arithmetics and tropical algebraic geometry, and introduce the multi-layered tropical neural networks as universal approximators. After giving a tropical reformulation of the backpropagation algorithm, we verify the algorithmic complexity is substantially lower than the usual backpropagation as the tropical arithmetic is free of the complexity of usual multiplication.
• Abstract（参考訳）: 本稿では,実数の行列の代わりに熱帯実数の行列を用いて,ニューラルネットワーク学習のアルゴリズム的複雑さを低減する手法を提案する。 トロピカル算術は乗法を加算に置き換え、マックスに加算するので、理論上、訓練段階における時間複雑性における数桁の等級の良い定数係数を達成する。 実数の体を実数の熱帯半環に置き換え、ニューラルネットワークで同じ分類結果を得るという事実は、トポロジと分析の深い結果から来ており、ここで検証する。 次に、熱帯算術と熱帯代数幾何学の観点から人工ニューラルネットワークを探索し、多層熱帯ニューラルネットワークを普遍近似器として導入する。 逆プロパゲーションアルゴリズムのトロピカルな再定式化を行った後, トロピカル算術は通常の乗算の複雑さを伴わないため, アルゴリズムの複雑さは通常の逆プロパゲーションよりもかなり低いことが検証された。

関連論文リスト

• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Tropical Expressivity of Neural Networks [0.0]
  熱帯の幾何学を用いて、ニューラルネットワークの様々なアーキテクチャ的側面を特徴づけ、研究する。 線形領域の正確な数を計算するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-30T15:45:03Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Revisiting Tropical Polynomial Division: Theory, Algorithms and Application to Neural Networks [40.137069931650444]
  熱帯幾何学は、最近、一方向線形活性化関数を持つニューラルネットワークの解析にいくつかの応用を見出した。 本稿では,熱帯分断問題に対する新たな考察とニューラルネットワークの単純化への応用について述べる。
  論文  参考訳（メタデータ） (2023-06-27T02:26:07Z)
• A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
  反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。 自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。 時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
  論文  参考訳（メタデータ） (2023-01-24T08:39:20Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Generalization Error Bounds for Iterative Recovery Algorithms Unfolded as Neural Networks [6.173968909465726]
  線形測定の少ないスパース再構成に適したニューラルネットワークの一般クラスを導入する。 層間の重量共有を広範囲に行うことで、全く異なるニューラルネットワークタイプに対する統一的な分析を可能にします。
  論文  参考訳（メタデータ） (2021-12-08T16:17:33Z)
• Validation of RELU nets with tropical polyhedra [7.087237546722617]
  本稿では,熱帯ポリヘドラを用いてReLUフィードフォワードニューラルネットワークを抽象化する手法を提案する。 本稿では、ReLUネットワークと熱帯有理関数の接続が、ReLUニューラルネットワークのレンジ解析にどのように役立つかを示す。
  論文  参考訳（メタデータ） (2021-07-30T06:22:59Z)
• Compressive Sensing and Neural Networks from a Statistical Learning Perspective [4.561032960211816]
  線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。 現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
  論文  参考訳（メタデータ） (2020-10-29T15:05:43Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。