論文の概要: From Two-Class Linear Discriminant Analysis to Interpretable Multilayer
Perceptron Design
- arxiv url: http://arxiv.org/abs/2009.04442v1
- Date: Wed, 9 Sep 2020 17:43:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 08:57:17.397194
- Title: From Two-Class Linear Discriminant Analysis to Interpretable Multilayer
Perceptron Design
- Title（参考訳）: 2クラス線形判別分析から解釈可能な多層パーセプトロン設計へ
- Authors: Ruiyuan Lin, Zhiruo Zhou, Suya You, Raghuveer Rao and C.-C. Jay Kuo
- Abstract要約: 2クラス線形判別式解析(LDA)における閉形式解の存在
多層パーセプトロン(MLP)を2クラスLDAシステムの一般化として解釈する。
フィードフォワードのワンパス方式でネットワークアーキテクチャと全フィルタ重みを指定できる自動設計を提案する。
- 参考スコア（独自算出の注目度）: 31.446335485087758
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A closed-form solution exists in two-class linear discriminant analysis
(LDA), which discriminates two Gaussian-distributed classes in a
multi-dimensional feature space. In this work, we interpret the multilayer
perceptron (MLP) as a generalization of a two-class LDA system so that it can
handle an input composed by multiple Gaussian modalities belonging to multiple
classes. Besides input layer $l_{in}$ and output layer $l_{out}$, the MLP of
interest consists of two intermediate layers, $l_1$ and $l_2$. We propose a
feedforward design that has three stages: 1) from $l_{in}$ to $l_1$: half-space
partitionings accomplished by multiple parallel LDAs, 2) from $l_1$ to $l_2$:
subspace isolation where one Gaussian modality is represented by one neuron, 3)
from $l_2$ to $l_{out}$: class-wise subspace mergence, where each Gaussian
modality is connected to its target class. Through this process, we present an
automatic MLP design that can specify the network architecture (i.e., the layer
number and the neuron number at a layer) and all filter weights in a
feedforward one-pass fashion. This design can be generalized to an arbitrary
distribution by leveraging the Gaussian mixture model (GMM). Experiments are
conducted to compare the performance of the traditional backpropagation-based
MLP (BP-MLP) and the new feedforward MLP (FF-MLP).
- Abstract（参考訳）: 閉形式解は2クラス線形判別解析(LDA)に存在し、多次元特徴空間における2つのガウス分布類を識別する。
本研究では、多層パーセプトロン(MLP)を2クラスLDAシステムの一般化として解釈し、複数のクラスに属する複数のガウスモジュラリティからなる入力を処理できるようにする。
入力層 $l_{in}$ と出力層 $l_{out}$ に加えて、MLP は2つの中間層 $l_1$ と $l_2$ から構成される。
本稿では,3段階のフィードフォワード設計を提案する。
1$l_{in}$から$l_1$: 複数の並列LDAによって達成されるハーフスペースパーティショニング。
2) $l_1$ から $l_2$: 1 つのガウス様相が 1 つのニューロンで表される部分空間分離。
3) $l_2$ から $l_{out}$: class-wise subspace マージ。
このプロセスを通じて、ネットワークアーキテクチャ(層数と層内のニューロン数)と全てのフィルタ重みをフィードフォワードワンパス方式で指定できる自動MLP設計を提案する。
この設計はガウス混合モデル(GMM)を利用して任意の分布に一般化することができる。
従来のバックプロパゲーションベースMLP(BP-MLP)と新しいフィードフォワードMLP(FF-MLP)の比較実験を行った。
関連論文リスト
- Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - Multilayer Correlation Clustering [12.492037397168579]
相関クラスタリング(Bansal et al., FOCS '02)の新たな一般化である多層相関クラスタリングを確立する。
本稿では、共通集合である$V$に対して相関クラスタリング(層と呼ばれる)の一連の入力を与えられる。
目的は、不一致ベクトルの$ell_p$-norm(pgeq 1$)を最小化する$V$のクラスタリングを見つけることである。
論文 参考訳（メタデータ） (2024-04-25T15:25:30Z) - BiMLP: Compact Binary Architectures for Vision Multi-Layer Perceptrons [37.28828605119602]
本稿では,視覚多層パーセプトロン(MLP)のためのコンパクトバイナリアーキテクチャの設計問題について検討する。
従来のバイナライズ手法では,バイナリサンプリングの容量が限られていたため,性能が低かった。
本稿では,バイナリFC層の表現能力を高めることにより,バイナリミキシングとチャネルミキシング(BiMLP)モデルの性能を向上させることを提案する。
論文 参考訳（メタデータ） (2022-12-29T02:43:41Z) - Minimax-Optimal Multi-Agent RL in Zero-Sum Markov Games With a
Generative Model [50.38446482252857]
2人プレイのゼロサムマルコフゲームは多エージェント強化学習においておそらく最も基本的な設定である。
我々は,$$ widetildeObiggを用いて,$varepsilon$-approximate Markov NEポリシーを学習する学習アルゴリズムを開発した。
我々は、分散型量の役割を明確にするFTRLに対する洗練された後悔境界を導出する。
論文 参考訳（メタデータ） (2022-08-22T17:24:55Z) - Subspace Learning Machine (SLM): Methodology and Performance [28.98486923400986]
サブスペースラーニングマシン(SLM)は、フィードフォワード多層パーセプトロン(FF-MLP)、決定木(DT)、エクストリームラーニングマシン(ELM)にインスパイアされた新しい分類モデルである。
SLMはまず、各入力特徴の識別力を調べることにより、識別された部分空間である$S0$を識別する。
S0$の関数の確率的射影を使って1D部分空間を生成し、それぞれの部分空間に最適な分割を求める。
論文 参考訳（メタデータ） (2022-05-11T06:44:51Z) - A new perspective on probabilistic image modeling [92.89846887298852]
本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。
DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。
本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
論文 参考訳（メタデータ） (2022-03-21T14:53:57Z) - RepMLPNet: Hierarchical Vision MLP with Re-parameterized Locality [113.1414517605892]
そこで本研究では,FC層に局所前処理を組み込む手法であるLocality Injectionを提案する。
RepMLPNetはCityscapesセマンティックセグメンテーションにシームレスに移行した最初の企業である。
論文 参考訳（メタデータ） (2021-12-21T10:28:17Z) - $\alpha$-Stable convergence of heavy-tailed infinitely-wide neural
networks [8.880921123362294]
無限幅多層パーセプトロン(MLP)は、標準フィードフォワードニューラルネットワークの限界である。
与えられた隠蔽層の全ノードにおけるプレアクティベーション値のベクトルは、その極限に収束することを示す。
論文 参考訳（メタデータ） (2021-06-18T01:36:41Z) - Large scale analysis of generalization error in learning using margin
based classification methods [2.436681150766912]
サンプルサイズ$n$と次元$p$の両方の極限で、大マルジン分類器の族を一般化誤差とする式を導出する。
2層ニューラルネットワークでは、最近開発された2重降下現象をいくつかの分類モデルで再現する。
論文 参考訳（メタデータ） (2020-07-16T20:31:26Z) - Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal
Sample Complexity [67.02490430380415]
モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。
また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
論文 参考訳（メタデータ） (2020-07-15T03:25:24Z) - Learning Halfspaces with Tsybakov Noise [50.659479930171585]
テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。
真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
論文 参考訳（メタデータ） (2020-06-11T14:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。