Fugu-MT 論文翻訳(概要): Linear Independence of Generalized Neurons and Related Functions

論文の概要: Linear Independence of Generalized Neurons and Related Functions

arxiv url: http://arxiv.org/abs/2410.03693v1
Date: Sun, 22 Sep 2024 21:09:15 GMT
ステータス: 処理完了
システム内更新日: 2024-11-02 20:38:13.011660
Title: Linear Independence of Generalized Neurons and Related Functions
Title（参考訳）: 一般ニューロンの線形独立と機能
Authors: Leyang Zhang,
Abstract要約: ニューロンの線形独立性は、ニューラルネットワークの理論解析において重要な役割を果たす。任意の層と幅を持つニューロンの問題を考察し、汎用的な解析的活性化関数の単純かつ完全な特徴付けを与える。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The linear independence of neurons plays a significant role in theoretical analysis of neural networks. Specifically, given neurons $H_1, ..., H_n: \bR^N \times \bR^d \to \bR$, we are interested in the following question: when are $\{H_1(\theta_1, \cdot), ..., H_n(\theta_n, \cdot)\}$ are linearly independent as the parameters $\theta_1, ..., \theta_n$ of these functions vary over $\bR^N$. Previous works give a complete characterization of two-layer neurons without bias, for generic smooth activation functions. In this paper, we study the problem for neurons with arbitrary layers and widths, giving a simple but complete characterization for generic analytic activation functions.
Abstract（参考訳）: ニューロンの線形独立性は、ニューラルネットワークの理論解析において重要な役割を果たす。具体的には、与えられたニューロン $H_1, ..., H_n: \bR^N \times \bR^d \to \bR$ は、次の問題に関心がある: if =\{H_1(\theta_1, \cdot), ..., H_n(\theta_n, \cdot)\}$ は、パラメータ $\theta_1, ..., \theta_n$ として線型独立である。これまでの研究は、一般的なスムーズな活性化機能のために、バイアスのない2層ニューロンの完全な特徴づけを与えている。本稿では、任意の層と幅を持つニューロンの問題を考察し、汎用的な解析活性化関数の単純かつ完全な特徴付けを与える。

関連論文リスト

Optimal Neural Network Approximation for High-Dimensional Continuous Functions [5.748690310135373]
我々は、その近似において任意の精度を達成するために、少なくとも幅$d$、従って少なくとも$d$固有のニューロンを必要とする連続関数の族を示す。これは、$mathcalO(d)$内在ニューロンの要求が、入力次元$d$と線形に成長するという意味で最適であることを示している。
論文参考訳（メタデータ） (2024-09-04T01:18:55Z)
Interpreting the Second-Order Effects of Neurons in CLIP [73.54377859089801]
CLIPの個々のニューロンの機能をテキストで自動的に記述することで解釈する。ニューロンから後続のアテンションヘッドに流れる影響を、直接出力に解析する「第2次レンズ」を提案する。以上の結果から,ニューロンのスケーラブルな理解は,モデル騙しや新しいモデル機能の導入に有効であることが示唆された。
論文参考訳（メタデータ） (2024-06-06T17:59:52Z)
Interpolation with deep neural networks with non-polynomial activations: necessary and sufficient numbers of neurons [0.0]
我々は、活性化関数が点ではなく点において実数である限り、$Theta(sqrtnd')$ニューロンは十分であることを示す。これは、パワーを失うことなく、アクティベーション関数を問題依存的に自由に選択できることを意味する。
論文参考訳（メタデータ） (2024-05-22T15:29:45Z)
Two-argument activation functions learn soft XOR operations like cortical neurons [6.88204255655161]
本研究では,基底と円錐状デンドライトに類似した2つの入力引数で正準活性化関数を学習する。顕著なことに、結果として生じる非線形性はしばしばソフトなXOR関数を生成する。これらの非線形性を持つネットワークは、一致したパラメータ数を持つ従来のReLU非線形性よりも高速に学習し、性能が向上する。
論文参考訳（メタデータ） (2021-10-13T17:06:20Z)
Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文参考訳（メタデータ） (2021-07-14T03:03:56Z)
Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間にエントロピーバウンド片方向の線形活性化関数を持つ我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文参考訳（メタデータ） (2021-04-05T18:02:04Z)
Estimating Multiplicative Relations in Neural Networks [0.0]
対数関数の特性を用いて、積を線形表現に変換し、バックプロパゲーションを用いて学習できるアクティベーション関数のペアを提案する。いくつかの複雑な算術関数に対してこのアプローチを一般化し、トレーニングセットとの不整合分布の精度を検証しようと試みる。
論文参考訳（メタデータ） (2020-10-28T14:28:24Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文参考訳（メタデータ） (2020-06-24T20:37:05Z)
Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-02-02T21:09:39Z)
Learning Neural Activations [2.842794675894731]
人工ニューラルネットワークにおける各ニューロンの活性化関数がデータのみから学習されるとどうなるかを検討する。これは、各ニューロンの活性化機能を、元のネットワーク内のすべてのニューロンによって共有される小さなニューラルネットワークとしてモデル化することで達成される。
論文参考訳（メタデータ） (2019-12-27T15:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。