論文の概要: From Two-Class Linear Discriminant Analysis to Interpretable Multilayer
Perceptron Design
- arxiv url: http://arxiv.org/abs/2009.04442v1
- Date: Wed, 9 Sep 2020 17:43:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 08:57:17.397194
- Title: From Two-Class Linear Discriminant Analysis to Interpretable Multilayer
Perceptron Design
- Title(参考訳): 2クラス線形判別分析から解釈可能な多層パーセプトロン設計へ
- Authors: Ruiyuan Lin, Zhiruo Zhou, Suya You, Raghuveer Rao and C.-C. Jay Kuo
- Abstract要約: 2クラス線形判別式解析(LDA)における閉形式解の存在
多層パーセプトロン(MLP)を2クラスLDAシステムの一般化として解釈する。
フィードフォワードのワンパス方式でネットワークアーキテクチャと全フィルタ重みを指定できる自動設計を提案する。
- 参考スコア(独自算出の注目度): 31.446335485087758
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A closed-form solution exists in two-class linear discriminant analysis
(LDA), which discriminates two Gaussian-distributed classes in a
multi-dimensional feature space. In this work, we interpret the multilayer
perceptron (MLP) as a generalization of a two-class LDA system so that it can
handle an input composed by multiple Gaussian modalities belonging to multiple
classes. Besides input layer $l_{in}$ and output layer $l_{out}$, the MLP of
interest consists of two intermediate layers, $l_1$ and $l_2$. We propose a
feedforward design that has three stages: 1) from $l_{in}$ to $l_1$: half-space
partitionings accomplished by multiple parallel LDAs, 2) from $l_1$ to $l_2$:
subspace isolation where one Gaussian modality is represented by one neuron, 3)
from $l_2$ to $l_{out}$: class-wise subspace mergence, where each Gaussian
modality is connected to its target class. Through this process, we present an
automatic MLP design that can specify the network architecture (i.e., the layer
number and the neuron number at a layer) and all filter weights in a
feedforward one-pass fashion. This design can be generalized to an arbitrary
distribution by leveraging the Gaussian mixture model (GMM). Experiments are
conducted to compare the performance of the traditional backpropagation-based
MLP (BP-MLP) and the new feedforward MLP (FF-MLP).
- Abstract(参考訳): 閉形式解は2クラス線形判別解析(LDA)に存在し、多次元特徴空間における2つのガウス分布類を識別する。
本研究では、多層パーセプトロン(MLP)を2クラスLDAシステムの一般化として解釈し、複数のクラスに属する複数のガウスモジュラリティからなる入力を処理できるようにする。
入力層 $l_{in}$ と出力層 $l_{out}$ に加えて、MLP は2つの中間層 $l_1$ と $l_2$ から構成される。
本稿では,3段階のフィードフォワード設計を提案する。
1$l_{in}$から$l_1$: 複数の並列LDAによって達成されるハーフスペースパーティショニング。
2) $l_1$ から $l_2$: 1 つのガウス様相が 1 つのニューロンで表される部分空間分離。
3) $l_2$ から $l_{out}$: class-wise subspace マージ。
このプロセスを通じて、ネットワークアーキテクチャ(層数と層内のニューロン数)と全てのフィルタ重みをフィードフォワードワンパス方式で指定できる自動MLP設計を提案する。
この設計はガウス混合モデル(GMM)を利用して任意の分布に一般化することができる。
従来のバックプロパゲーションベースMLP(BP-MLP)と新しいフィードフォワードMLP(FF-MLP)の比較実験を行った。
関連論文リスト
- BiMLP: Compact Binary Architectures for Vision Multi-Layer Perceptrons [37.28828605119602]
本稿では,視覚多層パーセプトロン(MLP)のためのコンパクトバイナリアーキテクチャの設計問題について検討する。
従来のバイナライズ手法では,バイナリサンプリングの容量が限られていたため,性能が低かった。
本稿では,バイナリFC層の表現能力を高めることにより,バイナリミキシングとチャネルミキシング(BiMLP)モデルの性能を向上させることを提案する。
論文 参考訳(メタデータ) (2022-12-29T02:43:41Z) - Minimax-Optimal Multi-Agent RL in Zero-Sum Markov Games With a
Generative Model [50.38446482252857]
2人プレイのゼロサムマルコフゲームは多エージェント強化学習においておそらく最も基本的な設定である。
我々は,$$ widetildeObiggを用いて,$varepsilon$-approximate Markov NEポリシーを学習する学習アルゴリズムを開発した。
我々は、分散型量の役割を明確にするFTRLに対する洗練された後悔境界を導出する。
論文 参考訳(メタデータ) (2022-08-22T17:24:55Z) - Subspace Learning Machine (SLM): Methodology and Performance [28.98486923400986]
サブスペースラーニングマシン(SLM)は、フィードフォワード多層パーセプトロン(FF-MLP)、決定木(DT)、エクストリームラーニングマシン(ELM)にインスパイアされた新しい分類モデルである。
SLMはまず、各入力特徴の識別力を調べることにより、識別された部分空間である$S0$を識別する。
S0$の関数の確率的射影を使って1D部分空間を生成し、それぞれの部分空間に最適な分割を求める。
論文 参考訳(メタデータ) (2022-05-11T06:44:51Z) - A new perspective on probabilistic image modeling [92.89846887298852]
本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。
DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。
本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
論文 参考訳(メタデータ) (2022-03-21T14:53:57Z) - RepMLPNet: Hierarchical Vision MLP with Re-parameterized Locality [113.1414517605892]
そこで本研究では,FC層に局所前処理を組み込む手法であるLocality Injectionを提案する。
RepMLPNetはCityscapesセマンティックセグメンテーションにシームレスに移行した最初の企業である。
論文 参考訳(メタデータ) (2021-12-21T10:28:17Z) - $\alpha$-Stable convergence of heavy-tailed infinitely-wide neural
networks [8.880921123362294]
無限幅多層パーセプトロン(MLP)は、標準フィードフォワードニューラルネットワークの限界である。
与えられた隠蔽層の全ノードにおけるプレアクティベーション値のベクトルは、その極限に収束することを示す。
論文 参考訳(メタデータ) (2021-06-18T01:36:41Z) - Learning Gaussian Mixtures with Generalised Linear Models: Precise
Asymptotics in High-dimensions [79.35722941720734]
多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。
実験的リスク最小化による高次元推定器の精度を実証する。
合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
論文 参考訳(メタデータ) (2021-06-07T16:53:56Z) - Convergence and Sample Complexity of SGD in GANs [15.25030172685628]
SGDによるGAN(Generative Adversarial Networks)のトレーニングにおける収束保証を提供する。
我々は,非線形アクティベーション機能を持つ1層ジェネレータネットワークによってモデル化されたターゲット分布の学習を検討する。
この結果は、ReLUを含む幅広い非線形アクティベーション関数 $phi$ に適用され、切り離された統計との接続によって実現される。
論文 参考訳(メタデータ) (2020-12-01T18:50:38Z) - Large scale analysis of generalization error in learning using margin
based classification methods [2.436681150766912]
サンプルサイズ$n$と次元$p$の両方の極限で、大マルジン分類器の族を一般化誤差とする式を導出する。
2層ニューラルネットワークでは、最近開発された2重降下現象をいくつかの分類モデルで再現する。
論文 参考訳(メタデータ) (2020-07-16T20:31:26Z) - Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal
Sample Complexity [67.02490430380415]
モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。
また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
論文 参考訳(メタデータ) (2020-07-15T03:25:24Z) - Learning Halfspaces with Tsybakov Noise [50.659479930171585]
テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。
真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
論文 参考訳(メタデータ) (2020-06-11T14:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。