Fugu-MT 論文翻訳(概要): Min-Max-Plus Neural Networks

論文の概要: Min-Max-Plus Neural Networks

arxiv url: http://arxiv.org/abs/2102.06358v1
Date: Fri, 12 Feb 2021 06:09:20 GMT
ステータス: 処理完了
システム内更新日: 2021-02-16 00:11:55.372452
Title: Min-Max-Plus Neural Networks
Title（参考訳）: Min-Max-Plus Neural Networks
Authors: Ye Luo and Shiqing Fan
Abstract要約: 熱帯算術における演算に基づくMin-Max-Plus Neural Networks (MMP-NNs) と呼ばれるニューラルネットワークの新しいモデルを提案する。 MMP-NNは、従来のニューラルネットワークの非線形部分と比較して訓練可能で洗練された。
参考スコア（独自算出の注目度）: 0.5837881923712392
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a new model of neural networks called Min-Max-Plus Neural Networks (MMP-NNs) based on operations in tropical arithmetic. In general, an MMP-NN is composed of three types of alternately stacked layers, namely linear layers, min-plus layers and max-plus layers. Specifically, the latter two types of layers constitute the nonlinear part of the network which is trainable and more sophisticated compared to the nonlinear part of conventional neural networks. In addition, we show that with higher capability of nonlinearity expression, MMP-NNs are universal approximators of continuous functions, even when the number of multiplication operations is tremendously reduced (possibly to none in certain extreme cases). Furthermore, we formulate the backpropagation algorithm in the training process of MMP-NNs and introduce an algorithm of normalization to improve the rate of convergence in training.
Abstract（参考訳）: 熱帯算術における演算に基づくMin-Max-Plus Neural Networks (MMP-NNs) と呼ばれるニューラルネットワークの新しいモデルを提案する。一般に、MMP-NNは3種類の交互に積み重ねられた層、すなわち線形層、マイナスプラスの層および最高プラスの層で構成されます。具体的には、後者の2つの層は、従来のニューラルネットワークの非線形部分に比べて訓練可能で洗練されたネットワークの非線形部分を構成する。さらに, MMP-NN は, 非線形性表現の能力が高いため, 乗算演算数を大幅に削減したとしても, 連続関数の普遍近似器であることを示す。さらに、MMP-NNのトレーニングプロセスにおいてバックプロパゲーションアルゴリズムを策定し、トレーニングにおける収束率を改善するための正規化アルゴリズムを導入する。

関連論文リスト

conv_einsum: A Framework for Representation and Fast Evaluation of Multilinear Operations in Convolutional Tensorial Neural Networks [28.416123889998243]
本研究では,テンソル畳み込み層をeinsumのような文字列として表現するフレームワークと,FLOPを最小化してこれらの文字列を評価するメタアルゴリズムであるconv_einsumを開発する。
論文参考訳（メタデータ） (2024-01-07T04:30:12Z)
An Algorithm to Train Unrestricted Sequential Discrete Morphological Neural Networks [0.0]
本稿では,一般W-演算子の構成によりアーキテクチャが与えられる非制限順序DMNNを学習するアルゴリズムを提案する。このアルゴリズムを実例で説明する。
論文参考訳（メタデータ） (2023-10-06T20:55:05Z)
NeuralMatrix: Compute the Entire Neural Networks with Linear Matrix Operations for Efficient Inference [20.404864470321897]
本稿では,ディープニューラルネットワーク(DNN)モデル全体の計算を線形行列演算に弾性的に変換するニューラルマトリックスを提案する。 CNNとトランスフォーマーベースのモデルによる実験は、広範囲のDNNモデルを正確かつ効率的に実行するためのNeuralMatrixの可能性を実証している。このレベルの効率性は通常、特定のニューラルネットワーク用に設計されたアクセラレータでのみ達成できる。
論文参考訳（メタデータ） (2023-05-23T12:03:51Z)
Exploring the Approximation Capabilities of Multiplicative Neural Networks for Smooth Functions [9.936974568429173]
対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
論文参考訳（メタデータ） (2023-01-11T17:57:33Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文参考訳（メタデータ） (2022-10-28T17:26:27Z)
Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization of Polynomial Activation Neural Networks in Fully Polynomial-Time [31.94590517036704]
2次活性化を持つ2層数値ネットワークの完全凸最適化定式化を考案する。本研究では,全入力データの複雑度とサンプルサイズが半定常的なニューラル・グローバル最適化であることを示した。提案手法は, 標準バックプロパゲーション法に比べ, テスト精度が大幅に向上した。
論文参考訳（メタデータ） (2021-01-07T08:43:01Z)
Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-10-19T15:28:00Z)
Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文参考訳（メタデータ） (2020-06-16T21:56:22Z)
Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文参考訳（メタデータ） (2020-06-15T02:57:57Z)
Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。