論文の概要: Neural Circuit Diagrams: Robust Diagrams for the Communication,
Implementation, and Analysis of Deep Learning Architectures
- arxiv url: http://arxiv.org/abs/2402.05424v1
- Date: Thu, 8 Feb 2024 05:42:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 16:20:24.588169
- Title: Neural Circuit Diagrams: Robust Diagrams for the Communication,
Implementation, and Analysis of Deep Learning Architectures
- Title（参考訳）: neural circuit diagram: ディープラーニングアーキテクチャのコミュニケーション、実装、分析のためのロバストな図
- Authors: Vincent Abbott
- Abstract要約: ディープラーニングアーキテクチャを通信するニーズに合わせたグラフィカルな言語であるニューラル・サーキット・ダイアグラムを紹介します。
それらの構成構造はコードと類似しており、図と実装の密接な対応を作る。
数学的洞察を提供し、アルゴリズムの時間と空間の複雑さを分析する上で、それらの有用性を示します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diagrams matter. Unfortunately, the deep learning community has no standard
method for diagramming architectures. The current combination of linear algebra
notation and ad-hoc diagrams fails to offer the necessary precision to
understand architectures in all their detail. However, this detail is critical
for faithful implementation, mathematical analysis, further innovation, and
ethical assurances. I present neural circuit diagrams, a graphical language
tailored to the needs of communicating deep learning architectures. Neural
circuit diagrams naturally keep track of the changing arrangement of data,
precisely show how operations are broadcast over axes, and display the critical
parallel behavior of linear operations. A lingering issue with existing
diagramming methods is the inability to simultaneously express the detail of
axes and the free arrangement of data, which neural circuit diagrams solve.
Their compositional structure is analogous to code, creating a close
correspondence between diagrams and implementation.
In this work, I introduce neural circuit diagrams for an audience of machine
learning researchers. After introducing neural circuit diagrams, I cover a host
of architectures to show their utility and breed familiarity. This includes the
transformer architecture, convolution (and its difficult-to-explain
extensions), residual networks, the U-Net, and the vision transformer. I
include a Jupyter notebook that provides evidence for the close correspondence
between diagrams and code. Finally, I examine backpropagation using neural
circuit diagrams. I show their utility in providing mathematical insight and
analyzing algorithms' time and space complexities.
- Abstract（参考訳）: ダイアグラムは重要です。
残念ながら、ディープラーニングコミュニティには、アーキテクチャをダイアグラムする標準的な方法がない。
線型代数表記法とアドホック図形の現在の組み合わせは、アーキテクチャを詳細に理解するのに必要な精度を提供できない。
しかし、この詳細は忠実な実装、数学的解析、さらなる革新、倫理的保証に重要である。
ディープラーニングアーキテクチャを通信するニーズに合わせて調整されたグラフィカル言語であるneural circuit diagramについて紹介する。
ニューラル回路図は、自然にデータの配置の変化を追跡し、どのように操作が軸越しにブロードキャストされるかを正確に示し、線形操作の臨界並列動作を表示する。
既存のダイアグラム手法の問題点は、軸の詳細と、ニューラルネットワークダイアグラムが解決するデータの自由配置を同時に表現できないことである。
それらの構成構造はコードと類似しており、図と実装の密接な対応を作る。
本稿では,機械学習研究者の聴衆にニューラルネットワークダイアグラムを紹介する。
神経回路図を導入した後、私は、その有用性と親近性を示すために、多くのアーキテクチャを取り上げます。
これにはトランスフォーマーのアーキテクチャ、畳み込み(そして説明が難しい拡張)、残留ネットワーク、u-net、ビジョントランスフォーマーが含まれる。
ダイアグラムとコード間の密接な対応の証拠を提供するJupyterノートも含んでいます。
最後に,神経回路図を用いたバックプロパゲーションについて検討する。
数学的洞察を提供し、アルゴリズムの時間と空間の複雑さを分析する上で、それらの有用性を示します。
関連論文リスト
- Quantifying analogy of concepts via ologs and wiring diagrams [0.0]
SpivakとKentによって作成されたログ(ログ)の理論に基づいて構築し、配線図の概念を定義します。
本稿では、配線図は有限有界ラベル付きグラフである。
ラベルは、ologの型に対応しており、自律システムにおけるセンサーの読み取りと解釈することもできる。
論文 参考訳（メタデータ） (2024-02-01T21:15:55Z) - Infinite Width Graph Neural Networks for Node Regression/ Classification [0.0]
この研究は、グラフ構造化データ上の完全連結ディープニューラルネットワークの一般化であるグラフニューラルネットワークを分析する。
論文 参考訳（メタデータ） (2023-10-12T10:01:39Z) - State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。
グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。
ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
論文 参考訳（メタデータ） (2023-01-14T09:15:49Z) - Convolutional Learning on Multigraphs [153.20329791008095]
我々は、多グラフ上の畳み込み情報処理を開発し、畳み込み多グラフニューラルネットワーク(MGNN)を導入する。
情報拡散の複雑なダイナミクスを多グラフのエッジのクラス間で捉えるために、畳み込み信号処理モデルを定式化する。
我々は,計算複雑性を低減するため,サンプリング手順を含むマルチグラフ学習アーキテクチャを開発した。
導入されたアーキテクチャは、最適な無線リソース割り当てとヘイトスピーチローカライゼーションタスクに適用され、従来のグラフニューラルネットワークよりも優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2022-09-23T00:33:04Z) - Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。
固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。
GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
論文 参考訳（メタデータ） (2022-05-19T14:08:15Z) - Graph Kernel Neural Networks [53.91024360329517]
本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。
これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。
私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
論文 参考訳（メタデータ） (2021-12-14T14:48:08Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Learning through structure: towards deep neuromorphic knowledge graph
embeddings [0.5906031288935515]
本稿では,知識グラフ推論のための深層グラフ学習アーキテクチャをニューロモルフィックアーキテクチャにマッピングする戦略を提案する。
ランダムかつ未学習のグラフニューラルネットワークが局所的なグラフ構造を保存することができるという知見に基づいて、凍結したニューラルネットワークの浅い知識グラフ埋め込みモデルを構成する。
我々は,従来型のハードウェア上では,性能水準を維持しながら,高速化とメモリの大幅な削減を実現していることを示す。
論文 参考訳（メタデータ） (2021-09-21T18:01:04Z) - Graphs for deep learning representations [1.0152838128195467]
グラフ信号処理(GSP)の最近の進歩に基づくグラフ形式化について紹介します。
すなわち、ディープニューラルネットワークの潜在空間を表すためにグラフを使用します。
このグラフ形式化によって,頑健性の確保,学習プロセスの設計における任意の選択量の削減,入力に付加された小さな一般化の改善,計算複雑性の低減など,さまざまな質問に答えることができることが示されています。
論文 参考訳（メタデータ） (2020-12-14T11:51:23Z) - Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。
グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF)
完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
論文 参考訳（メタデータ） (2020-04-06T13:25:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。