論文の概要: Dense Sample Deep Learning

• arxiv url: http://arxiv.org/abs/2307.10991v2
• Date: Fri, 21 Jul 2023 15:18:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-24 15:03:18.638039
• Title: Dense Sample Deep Learning
• Title（参考訳）: 高密度サンプルディープラーニング
• Authors: Stephen Jos\`e Hanson, Vivek Yadav, Catherine Hanson
• Abstract要約: ディープラーニング(DL)ネットワークの利用が増加しているにもかかわらず、学習メカニズムや表現についてはほとんど理解されていない。 本稿では,新しい高密度サンプルタスクにおいて,これらの課題を大きな (1.24M 重量; VGG) DL を用いて検討する。 本研究は,DLの学習力学に関する基礎的な知見を収集し,この結果に基づく複雑な特徴構築の新たな理論を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Learning (DL) , a variant of the neural network algorithms originally proposed in the 1980s, has made surprising progress in Artificial Intelligence (AI), ranging from language translation, protein folding, autonomous cars, and more recently human-like language models (CHATbots), all that seemed intractable until very recently. Despite the growing use of Deep Learning (DL) networks, little is actually understood about the learning mechanisms and representations that makes these networks effective across such a diverse range of applications. Part of the answer must be the huge scale of the architecture and of course the large scale of the data, since not much has changed since 1987. But the nature of deep learned representations remain largely unknown. Unfortunately training sets with millions or billions of tokens have unknown combinatorics and Networks with millions or billions of hidden units cannot easily be visualized and their mechanisms cannot be easily revealed. In this paper, we explore these questions with a large (1.24M weights; VGG) DL in a novel high density sample task (5 unique tokens with at minimum 500 exemplars per token) which allows us to more carefully follow the emergence of category structure and feature construction. We use various visualization methods for following the emergence of the classification and the development of the coupling of feature detectors and structures that provide a type of graphical bootstrapping, From these results we harvest some basic observations of the learning dynamics of DL and propose a new theory of complex feature construction based on our results.
• Abstract（参考訳）: 1980年代に最初に提案されたニューラルネットワークアルゴリズムの変種であるdeep learning(dl)は、言語翻訳、タンパク質の折り畳み、自動運転車、最近では人間に似た言語モデル(チャットボット)に至るまで、人工知能(ai)において驚くべき進歩を遂げた。 ディープラーニング(dl)ネットワークの利用は増加しているが、これらのネットワークをさまざまなアプリケーションで効果的にする学習メカニズムや表現については、実際にはほとんど理解されていない。 答えの一部はアーキテクチャの巨大なスケールでなければならないし、もちろんデータの大規模なスケールでなければならない。 しかし、深層学習表現の性質はほとんど不明である。 残念なことに、数百万から数十億のトークンを持つトレーニングセットには未知のコンビネータがあり、数百万から数十億の隠れたユニットを持つネットワークは容易に可視化できず、そのメカニズムは容易に明らかにできない。 本稿では,これらの質問を高密度サンプルタスク(最低500個以上のトークンを含む5つのユニークなトークン)における大きな (1.24M 重量; VGG) DL を用いて探索し,カテゴリ構造と特徴構成の出現をより注意深く追従することを可能にする。 これらの結果から,dlの学習ダイナミクスに関する基礎的な観察を収集し,本研究に基づく複雑な特徴構築の新たな理論を提案する。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Unveiling the Unseen: Identifiable Clusters in Trained Depthwise Convolutional Kernels [56.69755544814834]
  深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。 本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
  論文  参考訳（メタデータ） (2024-01-25T19:05:53Z)
• Adinkra Symbol Recognition using Classical Machine Learning and Deep Learning [0.0]
  我々は、6つの畳み込み層、3つの完全連結層、オプションのドロップアウト正規化を用いて、分類と認識のためのCNNモデルを構築した。 モデルの精度と収束率を測定することにより,モデルの性能を評価する。 この応用が、私たちの伝統的かつモダンな生活を組織する上で、AIのさまざまな用途に関するアイデアを刺激することを期待しています。
  論文  参考訳（メタデータ） (2023-11-27T11:26:41Z)
• Interpretability of an Interaction Network for identifying $H \rightarrow b\bar{b}$ jets [4.553120911976256]
  近年、ディープニューラルネットワークに基づくAIモデルは、これらのアプリケーションの多くで人気が高まっている。 我々は、高揚した$Hto bbarb$ jetを識別するために設計されたインタラクションネットワーク(IN)モデルを調べることで、AIモデルの解釈可能性を検討する。 さらに、INモデル内の隠れレイヤの活動を、ニューラルアクティベーションパターン(NAP)ダイアグラムとして記述する。
  論文  参考訳（メタデータ） (2022-11-23T08:38:52Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Malicious Network Traffic Detection via Deep Learning: An Information Theoretic View [0.0]
  本研究では,ホメオモルフィズムがマルウェアのトラフィックデータセットの学習表現に与える影響について検討する。 この結果から,学習された表現の詳細と,すべてのパラメータの多様体上で定義された特定の座標系は,関数近似とは全く異なることが示唆された。
  論文  参考訳（メタデータ） (2020-09-16T15:37:44Z)
• Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
  本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。 まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。 第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
  論文  参考訳（メタデータ） (2020-09-10T17:59:10Z)
• AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
  基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。 汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。 機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
  論文  参考訳（メタデータ） (2020-03-06T19:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。