論文の概要: Letters of the Alphabet: Discovering Natural Feature Sets

• arxiv url: http://arxiv.org/abs/2202.10934v1
• Date: Fri, 18 Feb 2022 19:55:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 14:59:28.828564
• Title: Letters of the Alphabet: Discovering Natural Feature Sets
• Title（参考訳）: Alphabetのレター:自然界の特徴を発見
• Authors: Ezana N. Beyenne
• Abstract要約: ディープラーニングネットワークは、バックプロパゲーションアルゴリズムを使用して、大規模なデータセットに複雑な機能を見つける。 実験では、ニューラルネットワークをリバースエンジニアリングしてアルファベットの自然な特徴集合を見つけようとする。 この理解はボルツマンマシンのような深い生成モデルを深く掘り下げるのに不可欠である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning networks find intricate features in large datasets using the backpropagation algorithm. This algorithm repeatedly adjusts the network connections.' weights and examining the "hidden" nodes behavior between the input and output layer provides better insight into how neural networks create feature representations. Experiments built on each other show that activity differences computed within a layer can guide learning. A simple neural network is used, which includes a data set comprised of the alphabet letters, where each letter forms 81 input nodes comprised of 0 and 1s and a single hidden layer and an output layer. The first experiment explains how the hidden layers in this simple neural network represent the input data's features. The second experiment attempts to reverse-engineer the neural network to find the alphabet's natural feature sets. As the network interprets features, we can understand how it derives the natural feature sets for a given data. This understanding is essential to delve deeper into deep generative models, such as Boltzmann machines. Deep generative models are a class of unsupervised deep learning algorithms. The primary function of deep generative models is to find the natural feature sets for a given data set.
• Abstract（参考訳）: ディープラーニングネットワークは、バックプロパゲーションアルゴリズムを使用して、大規模なデータセットで複雑な特徴を見つける。 このアルゴリズムは繰り返しネットワーク接続を調整する。 入力層と出力層の間の"隠れた"ノードの振る舞いを重み付け、調査することで、ニューラルネットワークが機能表現をどのように生成するかをよりよく知ることができます。 相互に構築された実験は、レイヤー内で計算された活動の違いが学習のガイドとなることを示している。 単純なニューラルネットワークは、アルファベット文字からなるデータセットを含み、各文字は0および1sからなる81の入力ノードと、1つの隠れ層と出力層とからなる。 最初の実験では、この単純なニューラルネットワークの隠れたレイヤが入力データの特徴をどのように表現しているかを説明します。 2つ目の実験は、ニューラルネットワークをリバースエンジニアリングしてアルファベットの自然な特徴集合を見つける試みである。 ネットワークは特徴を解釈するので、与えられたデータに対する自然な特徴集合を導出する方法を理解することができる。 この理解はボルツマン機械のような深い生成モデルに深く入り込むのに不可欠である。 深層生成モデルは教師なしの深層学習アルゴリズムのクラスである。 深層生成モデルの主要な機能は、与えられたデータセットの自然な特徴集合を見つけることである。

関連論文リスト

• Half-Space Feature Learning in Neural Networks [2.3249139042158853]
  現在、ニューラルネットワークの特徴学習には2つの極端な視点がある。 どちらの解釈も、新しい観点からは正しいとは考えにくい。 私たちはこの代替解釈を使って、Deep Linearly Gated Network (DLGN)と呼ばれるモデルを動かす。
  論文  参考訳（メタデータ） (2024-04-05T12:03:19Z)
• Generative Kaleidoscopic Networks [2.321684718906739]
  我々は、このニューラルネットワークの特性を利用して、ジェネレーティブ・カレイドスコープと呼ばれるデータセット・カレイドスコープを設計する。 我々は、CNN、Transformers、U-Netsといった他のディープラーニングアーキテクチャに対して、この現象を様々な程度に観測した。
  論文  参考訳（メタデータ） (2024-02-19T02:48:40Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• How and what to learn:The modes of machine learning [7.085027463060304]
  本稿では, 重み経路解析(WPA)と呼ばれる新しい手法を提案し, 多層ニューラルネットワークのメカニズムについて検討する。 WPAは、ニューラルネットワークが情報を「ホログラフィック」な方法で保存し、活用していることを示し、ネットワークはすべてのトレーニングサンプルをコヒーレントな構造にエンコードする。 隠れた層状ニューロンは学習過程の後半で異なるクラスに自己組織化することが判明した。
  論文  参考訳（メタデータ） (2022-02-28T14:39:06Z)
• Dive into Layers: Neural Network Capacity Bounding using Algebraic Geometry [55.57953219617467]
  ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。 入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。 実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
  論文  参考訳（メタデータ） (2021-09-03T11:45:51Z)
• Leveraging Sparse Linear Layers for Debuggable Deep Networks [86.94586860037049]
  学習した深い特徴表現に疎い線形モデルを適用することで、よりデバッグ可能なニューラルネットワークを実現する方法を示す。 その結果、スパースな説明は、スプリアス相関を特定し、誤分類を説明し、視覚および言語タスクにおけるモデルバイアスを診断するのに役立ちます。
  論文  参考訳（メタデータ） (2021-05-11T08:15:25Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Node2Seq: Towards Trainable Convolutions in Graph Neural Networks [59.378148590027735]
  今回提案するグラフネットワーク層であるNode2Seqは,隣接ノードの重みを明示的に調整可能なノード埋め込みを学習する。 対象ノードに対して,当手法は注意メカニズムを介して隣接ノードをソートし,さらに1D畳み込みニューラルネットワーク(CNN)を用いて情報集約のための明示的な重み付けを行う。 また, 特徴学習のための非局所的情報を, 注意スコアに基づいて適応的に組み込むことを提案する。
  論文  参考訳（メタデータ） (2021-01-06T03:05:37Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Online Sequential Extreme Learning Machines: Features Combined From Hundreds of Midlayers [0.0]
  本稿では階層型オンラインシーケンシャル学習アルゴリズム(H-OS-ELM)を提案する。 アルゴリズムは、一定のブロックサイズまたは異なるブロックサイズでチャンクごとにチャンクを学習することができる。
  論文  参考訳（メタデータ） (2020-06-12T00:50:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。