論文の概要: Generalised Perceptron Learning
- arxiv url: http://arxiv.org/abs/2012.03642v1
- Date: Mon, 7 Dec 2020 12:49:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 20:54:34.955805
- Title: Generalised Perceptron Learning
- Title(参考訳): 一般化パーセプトロン学習
- Authors: Xiaoyu Wang, Martin Benning
- Abstract要約: 本稿では,Rosenblattの従来のパーセプトロン学習アルゴリズムを近位活性化関数のクラスに一般化する。
この解釈は、多くの新しいアルゴリズムの道を切り開き、スパースパーセプトロンの学習のための反復的なソフトスレッディングアルゴリズムの新しい変形を探索します。
- 参考スコア(独自算出の注目度): 23.592657600394215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a generalisation of Rosenblatt's traditional perceptron learning
algorithm to the class of proximal activation functions and demonstrate how
this generalisation can be interpreted as an incremental gradient method
applied to a novel energy function. This novel energy function is based on a
generalised Bregman distance, for which the gradient with respect to the
weights and biases does not require the differentiation of the activation
function. The interpretation as an energy minimisation algorithm paves the way
for many new algorithms, of which we explore a novel variant of the iterative
soft-thresholding algorithm for the learning of sparse perceptrons.
- Abstract(参考訳): ローゼンブラットの従来のパーセプトロン学習アルゴリズムを近位活性化関数のクラスに一般化し、この一般化を新しいエネルギー関数に適用した漸進勾配法として解釈する方法を実証する。
この新しいエネルギー関数は一般化されたブレグマン距離に基づいており、重みやバイアスに対する勾配は活性化関数の微分を必要としない。
エネルギー最小化アルゴリズムとしての解釈は、スパースパーセプトロンの学習のための反復型ソフトスレッディングアルゴリズムの新しい変種を探索する多くの新しいアルゴリズムの道を開く。
関連論文リスト
- Regularized Q-Learning with Linear Function Approximation [3.10770247120758]
本稿では,有限時間収束保証によるベルマン誤差最小化のための単一ループアルゴリズムについて考察する。
特定の仮定の下では、提案アルゴリズムはマルコフ雑音の存在下で定常点に収束することを示す。
論文 参考訳(メタデータ) (2024-01-26T20:45:40Z) - A Compound Gaussian Least Squares Algorithm and Unrolled Network for
Linear Inverse Problems [1.283555556182245]
本稿では,線形逆問題に対する2つの新しいアプローチを提案する。
1つ目は、正規化された最小二乗目的関数を最小化する反復アルゴリズムである。
2つ目は、反復アルゴリズムの「アンロール」または「アンフォールディング」に対応するディープニューラルネットワークである。
論文 参考訳(メタデータ) (2023-05-18T17:05:09Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Exploring the role of parameters in variational quantum algorithms [59.20947681019466]
動的リー代数の階数を用いた変分量子回路のキャラクタリゼーションのための量子制御に着想を得た手法を提案する。
有望な接続は、リーランク、計算されたエネルギーの精度、および所定の回路アーキテクチャを介して目標状態を達成するために必要な深さとの間のものである。
論文 参考訳(メタデータ) (2022-09-28T20:24:53Z) - On the Activation Function Dependence of the Spectral Bias of Neural
Networks [0.0]
ニューラルネットワークのスペクトルバイアスの観点から,この現象を考察する。
本稿では,ReLUニューラルネットワークのスペクトルバイアスを有限要素法との接続を利用して理論的に説明する。
我々は,Hatアクティベーション機能を持つニューラルネットワークが勾配降下とADAMを用いて大幅に高速にトレーニングされていることを示す。
論文 参考訳(メタデータ) (2022-08-09T17:40:57Z) - Active Learning for Transition State Calculation [3.399187058548169]
遷移状態 (TS) の計算は、計算集約エネルギー関数にとって大きな課題である。
真の勾配の高価な計算量を減らすために,能動的学習フレームワークを提案する。
提案手法は, 原モデルの必要エネルギー数や力量評価を著しく削減することを示す。
論文 参考訳(メタデータ) (2021-08-10T13:57:31Z) - Algorithm for initializing a generalized fermionic Gaussian state on a
quantum computer [0.0]
本稿では Shi らによって開発された変分法の中心部分に対する明示的な表現について述べる。
フェミオン生成およびサブルーチン演算子の積の期待値を評価するために反復解析式を導出する。
本稿では,想像時間進化と組み合わせて最適化できる,単純な勾配差に基づくアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-05-27T10:31:45Z) - Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。
いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文 参考訳(メタデータ) (2021-03-01T08:25:26Z) - Machine Learning for Vibrational Spectroscopy via Divide-and-Conquer
Semiclassical Initial Value Representation Molecular Dynamics with
Application to N-Methylacetamide [56.515978031364064]
核振動空間を部分空間に分割する機械学習アルゴリズムを導入する。
部分分割基準は、リウヴィルの定理、すなわち減次元ジャコビアン行列式のユニタリの最良の保存に基づいている。
このアルゴリズムは12-原子トランス-N-メチルアセトアミドのパワースペクトルの分割・対数半古典計算に適用される。
論文 参考訳(メタデータ) (2021-01-11T14:47:33Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳(メタデータ) (2021-01-08T18:55:07Z) - Learned Block Iterative Shrinkage Thresholding Algorithm for
Photothermal Super Resolution Imaging [52.42007686600479]
深層ニューラルネットワークに展開する反復アルゴリズムを用いて,学習したブロックスパース最適化手法を提案する。
本稿では、正規化パラメータの選択を学ぶことができる学習ブロック反復収縮しきい値アルゴリズムを使用することの利点を示す。
論文 参考訳(メタデータ) (2020-12-07T09:27:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。