論文の概要: Deep Learning 2.0: Artificial Neurons That Matter -- Reject Correlation, Embrace Orthogonality

• arxiv url: http://arxiv.org/abs/2411.08085v1
• Date: Tue, 12 Nov 2024 16:52:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:11:44.567292
• Title: Deep Learning 2.0: Artificial Neurons That Matter -- Reject Correlation, Embrace Orthogonality
• Title（参考訳）: Deep Learning 2.0: 重要な人工ニューロン
• Authors: Taha Bouhsine,
• Abstract要約: ヤット生産型ニューラルネットワークであるニューラルマターネットワーク(NMN)を導入する。 NMNは活性化機能のない非線形パターン認識を実現する。 Yat-MLPは、単純さと有効性を組み合わせたニューラルネットワーク設計の新しいパラダイムを確立する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We introduce a yat-product-powered neural network, the Neural Matter Network (NMN), a breakthrough in deep learning that achieves non-linear pattern recognition without activation functions. Our key innovation relies on the yat-product and yat-product, which naturally induces non-linearity by projecting inputs into a pseudo-metric space, eliminating the need for traditional activation functions while maintaining only a softmax layer for final class probability distribution. This approach simplifies network architecture and provides unprecedented transparency into the network's decision-making process. Our comprehensive empirical evaluation across different datasets demonstrates that NMN consistently outperforms traditional MLPs. The results challenge the assumption that separate activation functions are necessary for effective deep-learning models. The implications of this work extend beyond immediate architectural benefits, by eliminating intermediate activation functions while preserving non-linear capabilities, yat-MLP establishes a new paradigm for neural network design that combines simplicity with effectiveness. Most importantly, our approach provides unprecedented insights into the traditionally opaque "black-box" nature of neural networks, offering a clearer understanding of how these models process and classify information.
• Abstract（参考訳）: 我々は、活性化機能のない非線形パターン認識を実現するディープラーニングのブレークスルーである、ヤット生産型ニューラルネットワーク、Neural Matter Network (NMN)を導入する。 我々の重要な革新はヤト生成物とヤト生成物に依存しており、これは入力を擬似距離空間に投影することで自然に非線形性を誘導し、最終クラス確率分布のためのソフトマックス層のみを維持しながら従来の活性化関数を不要にする。 このアプローチはネットワークアーキテクチャを単純化し、ネットワークの意思決定プロセスに対して前例のない透明性を提供する。 NMNが従来のMLPよりも一貫して優れていることを示す。 この結果は、効果的なディープラーニングモデルには個別のアクティベーション関数が必要であるという仮定に挑戦する。 この作業の影響は、中間活性化関数を排除し、非線形能力を保ちながら、即時アーキテクチャ上のメリットを超えて、Yat-MLPは単純さと有効性を組み合わせたニューラルネットワーク設計の新しいパラダイムを確立している。 最も重要なのは、ニューラルネットワークの伝統的に不透明な「ブラックボックス」の性質に関する前例のない洞察を提供し、これらのモデルがどのように情報を処理し、分類するかを明確に理解することです。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Learning Neural Networks with Sparse Activations [42.88109060676769]
  変圧器ネットワークでは、このブロックの隠された層における活性化は、任意の入力に対して非常に緩い傾向にある。 ネットワークから除去できるニューロンやウェイトが存在する従来のスペーシリティとは異なり、このエムアクティベーションのスペーシリティは利用するのが困難である。 関数のクラスが証明可能な計算と統計上の優位性をもたらすことを示す様々な結果を示す。
  論文  参考訳（メタデータ） (2024-06-26T00:11:13Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Self Expanding Convolutional Neural Networks [1.4330085996657045]
  本稿では,学習中の畳み込みニューラルネットワーク(CNN)を動的に拡張する新しい手法を提案する。 我々は、単一のモデルを動的に拡張する戦略を採用し、様々な複雑さのレベルでチェックポイントの抽出を容易にする。
  論文  参考訳（メタデータ） (2024-01-11T06:22:40Z)
• Neural Network Pruning by Gradient Descent [7.427858344638741]
  我々は,Gumbel-Softmaxテクニックを取り入れた,新しい,かつ簡単なニューラルネットワークプルーニングフレームワークを提案する。 ネットワークパラメータの0.15%しか持たないMNISTデータセット上で、高い精度を維持しながら、例外的な圧縮能力を実証する。 我々は,ディープラーニングプルーニングと解釈可能な機械学習システム構築のための,有望な新たな道を開くと信じている。
  論文  参考訳（メタデータ） (2023-11-21T11:12:03Z)
• Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference [2.0822643340897273]
  本研究では、繰り返しニューラルネットワークモデルにおいて、活動空間がパラメータ空間と乗算的に構成可能であることを示す。 私たちはPenn Treebank言語モデリングタスクで60ドル以下の難易度を維持しながら、最大20ドルまで計算の削減を実現しています。
  論文  参考訳（メタデータ） (2023-11-13T08:18:44Z)
• Neural Attention: Enhancing QKV Calculation in Self-Attention Mechanism with Neural Networks [25.75678339426731]
  本稿では,QKVを用いたニューラルネットワークの計算手法について検討する。 我々は、IWSLT 2017ドイツ語翻訳タスクデータセットの実験を行い、従来の手法で近似した。 また,Wikitext-103データセットを用いてRobertaモデルをトレーニングする際の優位性を示した。
  論文  参考訳（メタデータ） (2023-10-17T17:06:26Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。