論文の概要: SPINE: Soft Piecewise Interpretable Neural Equations
- arxiv url: http://arxiv.org/abs/2111.10622v1
- Date: Sat, 20 Nov 2021 16:18:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-25 11:08:43.586101
- Title: SPINE: Soft Piecewise Interpretable Neural Equations
- Title（参考訳）: 脊椎:ソフトな断片的な解釈可能な神経方程式
- Authors: Jasdeep Singh Grover, Harsh Minesh Domadia, Raj Anant Tapase and
Grishma Sharma
- Abstract要約: 完全に接続されたネットワークはユビキタスだが解釈不能である。
本論文は,個々の部品に設定操作を施すことにより,ピースワイズに新しいアプローチを採っている(一部)。
完全に接続されたレイヤを解釈可能なレイヤに置き換えなければならない、さまざまなアプリケーションを見つけることができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Relu Fully Connected Networks are ubiquitous but uninterpretable because they
fit piecewise linear functions emerging from multi-layered structures and
complex interactions of model weights. This paper takes a novel approach to
piecewise fits by using set operations on individual pieces(parts). This is
done by approximating canonical normal forms and using the resultant as a
model. This gives special advantages like (a)strong correspondence of
parameters to pieces of the fit function(High Interpretability); (b)ability to
fit any combination of continuous functions as pieces of the piecewise
function(Ease of Design); (c)ability to add new non-linearities in a targeted
region of the domain(Targeted Learning); (d)simplicity of an equation which
avoids layering. It can also be expressed in the general max-min representation
of piecewise linear functions which gives theoretical ease and credibility.
This architecture is tested on simulated regression and classification tasks
and benchmark datasets including UCI datasets, MNIST, FMNIST, and CIFAR 10.
This performance is on par with fully connected architectures. It can find a
variety of applications where fully connected layers must be replaced by
interpretable layers.
- Abstract（参考訳）: Relu Fully Connected Networks はユビキタスだが、多層構造やモデルの重みの複雑な相互作用から生じる分別線形関数に適合する。
本稿では,個々の部品(部品)の集合演算を用いて,各部品に適合する新しい手法を提案する。
これは正準正規形式を近似し、その結果をモデルとして利用する。
これは特別な利点を与えます
(a)適合関数の部分に対するパラメータの強い対応(高解釈可能性)
(b) 連続関数の組合せをピースワイズ関数として適合させることができないこと(設計の方法)
(c)ドメインのターゲット領域に新たな非線形性を追加することができないこと(ターゲット学習)
(d)階層化を避ける方程式の単純性。
これはまた、理論的な容易さと信頼性を与える分数次線型関数の一般最大値表現で表すこともできる。
このアーキテクチャは、UCIデータセット、MNIST、FMNIST、CIFAR 10を含むシミュレーション回帰および分類タスクとベンチマークデータセットでテストされている。
このパフォーマンスは、完全に接続されたアーキテクチャと同等です。
完全に接続されたレイヤを解釈可能なレイヤに置き換えなければならない、さまざまなアプリケーションを見つけることができる。
関連論文リスト
- ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。
我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
論文 参考訳（メタデータ） (2023-05-24T22:10:12Z) - Equivariant Architectures for Learning in Deep Weight Spaces [54.61765488960555]
重み空間の学習のための新しいネットワークアーキテクチャを提案する。
入力として、事前訓練された不変量の重みとバイアスの連結をとる。
これらのレイヤを3つの基本的な操作で実装する方法を示す。
論文 参考訳（メタデータ） (2023-01-30T10:50:33Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳（メタデータ） (2022-11-11T21:58:15Z) - Functional Indirection Neural Estimator for Better Out-of-distribution
Generalization [27.291114360472243]
FINE(Functional Indirection Neural Estorimator)は、入力されたデータをオンザフライで出力する関数を構成することを学ぶ。
我々は、MNIST、Omniglot、CIFAR100データセットの画像を用いて、IQタスク上でFINEと競合するモデルを訓練する。
FINEはすべてのタスクで最高のパフォーマンスを達成するだけでなく、小さなデータシナリオにも適応できる。
論文 参考訳（メタデータ） (2022-10-23T14:43:02Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Understanding Dynamics of Nonlinear Representation Learning and Its
Application [12.697842097171119]
暗黙的非線形表現学習のダイナミクスについて検討する。
我々は,データ構造アライメント条件がグローバル収束に十分であることを示す。
我々はデータ構造アライメント条件を満たす新しいトレーニングフレームワークを作成した。
論文 参考訳（メタデータ） (2021-06-28T16:31:30Z) - Compressing Deep ODE-Nets using Basis Function Expansions [105.05435207079759]
重みの定式化を基底関数の線形結合を用いた連続深度関数とみなす。
この観点では、ほぼ最先端の性能を維持しながら、再トレーニングすることなく、ベースの変化によって重みを圧縮することができる。
これにより、推論時間とメモリフットプリントの両方が削減され、計算環境間の高速で厳密な適応が可能となる。
論文 参考訳（メタデータ） (2021-06-21T03:04:51Z) - Linear Iterative Feature Embedding: An Ensemble Framework for
Interpretable Model [6.383006473302968]
線形反復特徴埋め込み(LIFE)と呼ばれる解釈可能なモデルのための新しいアンサンブルフレームワークを開発した。
LIFEは、広い一層ニューラルネットワーク(NN)を正確に3つのステップに適合させることができる。
LIFEは直接訓練された単層NNを一貫して上回り、また他の多くのベンチマークモデルより上です。
論文 参考訳（メタデータ） (2021-03-18T02:01:17Z) - Learning Aggregation Functions [78.47770735205134]
任意の濃度の集合に対する学習可能なアグリゲータであるLAF(Learning Aggregation Function)を紹介する。
半合成および実データを用いて,LAFが最先端の和(max-)分解アーキテクチャより優れていることを示す実験を報告する。
論文 参考訳（メタデータ） (2020-12-15T18:28:53Z) - Non-Euclidean Universal Approximation [4.18804572788063]
ニューラルネットワークの入力層と出力層の修正は、多くの場合、最も実践的な学習タスクの特異性を満たすために必要である。
アーキテクチャの連続関数をコンパクトな上で一様に近似する能力を保った特徴写像と読み出し写像を記述した一般的な条件を示す。
論文 参考訳（メタデータ） (2020-06-03T15:38:57Z) - Evolving Normalization-Activation Layers [100.82879448303805]
我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。
EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。
我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
論文 参考訳（メタデータ） (2020-04-06T19:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。