論文の概要: Exploring Linear Feature Disentanglement For Neural Networks

• arxiv url: http://arxiv.org/abs/2203.11700v1
• Date: Tue, 22 Mar 2022 13:09:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-23 19:19:32.473425
• Title: Exploring Linear Feature Disentanglement For Neural Networks
• Title（参考訳）: ニューラルネットワークにおける線形特徴分散の探索
• Authors: Tiantian He, Zhibin Li, Yongshun Gong, Yazhou Yao, Xiushan Nie, Yilong Yin
• Abstract要約: Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
• 参考スコア（独自算出の注目度）: 63.20827189693117
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-linear activation functions, e.g., Sigmoid, ReLU, and Tanh, have achieved great success in neural networks (NNs). Due to the complex non-linear characteristic of samples, the objective of those activation functions is to project samples from their original feature space to a linear separable feature space. This phenomenon ignites our interest in exploring whether all features need to be transformed by all non-linear functions in current typical NNs, i.e., whether there exists a part of features arriving at the linear separable feature space in the intermediate layers, that does not require further non-linear variation but an affine transformation instead. To validate the above hypothesis, we explore the problem of linear feature disentanglement for neural networks in this paper. Specifically, we devise a learnable mask module to distinguish between linear and non-linear features. Through our designed experiments we found that some features reach the linearly separable space earlier than the others and can be detached partly from the NNs. The explored method also provides a readily feasible pruning strategy which barely affects the performance of the original model. We conduct our experiments on four datasets and present promising results.
• Abstract（参考訳）: Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めている。 サンプルの複素非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、全ての特徴が現在の典型的なnnのすべての非線形関数によって変換される必要があるかどうか、すなわち、中間層内の線形分離可能な特徴空間に到達する特徴の一部が存在するかどうか、その代わりにアフィン変換を必要とせずに検討することに関心を喚起する。 本稿では,この仮説を検証するために,ニューラルネットワークの線形特徴分散問題について検討する。 具体的には,線形特徴と非線形特徴を区別する学習可能なマスクモジュールを考案する。 設計した実験を通して、いくつかの機能は他のものよりも早く線形分離可能な空間に到達し、部分的にNNから切り離すことができることがわかった。 また,本手法は,元のモデルの性能にほとんど影響を与えない,容易に実現可能なプルーニング戦略を提供する。 4つのデータセットで実験を行い、有望な結果を示す。

関連論文リスト

• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• A Novel Explanation Against Linear Neural Networks [1.223779595809275]
  線形回帰とニューラルネットワークは、データをモデル化するために広く使われている。 活性化機能を持たないニューラルネットワーク、あるいは線形ニューラルネットワークは、実際にトレーニングとテストの両方のパフォーマンスを低下させる。 この仮説は,LNNの最適化と厳密なテストにより,雑音のあるデータセット上でのLNNと線形回帰の両方のパフォーマンスを比較して証明する。
  論文  参考訳（メタデータ） (2023-12-30T09:44:51Z)
• Function-Space Optimality of Neural Architectures With Multivariate Nonlinearities [30.762063524541638]
  我々は、バナッハ空間上の学習問題に対する解集合が、非線形性を持つニューラルアーキテクチャによって完全に特徴づけられることを示す代表者定理を証明した。 我々の結果は、データに基づいてトレーニングされたニューラルネットワークによって学習された関数の規則性に光を当て、実際に見つかったいくつかのアーキテクチャ選択に対する新たな理論的動機を与えました。
  論文  参考訳（メタデータ） (2023-10-05T17:13:16Z)
• Points of non-linearity of functions generated by random neural networks [0.0]
  1つの隠れ活性化層、任意の幅、ReLU活性化関数を持つニューラルネットワークによって出力される実数から実数への関数を考える。 非線型性の点の期待分布を計算する。
  論文  参考訳（メタデータ） (2023-04-19T17:40:19Z)
• Approximation of Nonlinear Functionals Using Deep ReLU Networks [7.876115370275732]
  本稿では,ReLU(rerectified linear unit)アクティベーション関数に関連する機能深部ニューラルネットワークの近似能力について検討する。 さらに,弱規則性条件下での関数型深部ReLUネットワークの近似率を確立する。
  論文  参考訳（メタデータ） (2023-04-10T08:10:11Z)
• The merged-staircase property: a necessary and nearly sufficient condition for SGD learning of sparse functions on two-layer neural networks [19.899987851661354]
  我々は,SGD-Lrnability with $O(d)$ sample complexity in a large ambient dimension。 本研究の主な成果は, 階層的特性である「マージ階段特性」を特徴付けるものである。 鍵となるツールは、潜在低次元部分空間上で定義される函数に適用される新しい「次元自由」力学近似である。
  論文  参考訳（メタデータ） (2022-02-17T13:43:06Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。