論文の概要: On the Architectural Complexity of Neural Networks
- arxiv url: http://arxiv.org/abs/2605.04325v1
- Date: Tue, 05 May 2026 22:05:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.558645
- Title: On the Architectural Complexity of Neural Networks
- Title(参考訳): ニューラルネットワークのアーキテクチャ複雑性について
- Authors: Nicholas J. Cooper, François G. Meyer, Michael L. Roberts, Carlos Zapata-Carratalá, Lijun Chen, Danna Gurari,
- Abstract要約: 深層ニューラルネットワーク(DNN)の厳密な解析と体系構築のための統一的理論的枠組みを導入する。
このフレームワークは、テンソル演算の構造を明示的にモデル化することで、既存の理論のギャップに対処する。
過去40年間に導入されたDNNの研究は、画期的なアーキテクチャとさまざまなタイプのアーキテクチャ複雑性の関連性を明らかにしている。
- 参考スコア(独自算出の注目度): 12.289403088028935
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a unified theoretical framework for the rigorous analysis and systematic construction of deep neural networks (DNNs). This framework addresses a gap in existing theory by explicitly modeling the structure of tensor operations -- lower level information that is often abstracted. Our framework enables two novel objectives: (1) analysis of the evolution of architectural complexity over deep learning history, and (2) automatic construction of novel architectures based on new types of tensor operations. Our study of DNNs introduced over the past 40 years reveals a connection between groundbreaking architectures and increases in different types of architectural complexity. Moreover, we identify several large classes of higher complexity architectures that have not yet been explored. We then collect a dataset of 3,000+ higher complexity architectures, which we publicly release at: https://github.com/combinatoriallabs/ArchitecturalComplexity.
- Abstract(参考訳): 深層ニューラルネットワーク(DNN)の厳密な解析と体系構築のための統一的理論的枠組みを導入する。
このフレームワークは、しばしば抽象化される低レベル情報であるテンソル演算の構造を明示的にモデル化することで、既存の理論のギャップに対処する。
本フレームワークは,(1)深層学習史におけるアーキテクチャの複雑さの進化の解析,(2)新しいタイプのテンソル操作に基づく新しいアーキテクチャの自動構築という,2つの新しい目的を実現する。
過去40年間に導入されたDNNの研究は、画期的なアーキテクチャとさまざまなタイプのアーキテクチャ複雑性の関連性を明らかにしている。
さらに,まだ検討されていない高次複雑性アーキテクチャの大規模クラスを複数同定する。
その後、3,000以上の複雑さのあるアーキテクチャのデータセットを収集し、https://github.com/combinatoriallabs/ArchitecturalComplexity.comで公開しています。
関連論文リスト
- Copresheaf Topological Neural Networks: A Generalized Deep Learning Framework [16.903981913294103]
共振器トポロジカルニューラルネットワーク(CTNN)を導入する
CTNNは、幅広いディープラーニングアーキテクチャをカプセル化する強力な統一フレームワークである。
我々は,CTNNが階層的あるいは局所的な感度を必要とするタスクにおいて,従来のベースラインを一貫して上回ることを示す。
論文 参考訳(メタデータ) (2025-05-27T14:28:50Z) - Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。
本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。
MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
論文 参考訳(メタデータ) (2024-02-04T08:57:42Z) - Serving Deep Learning Model in Relational Databases [70.53282490832189]
リレーショナルデータ上での深層学習(DL)モデルの実現は、様々な商業分野や科学分野において重要な要件となっている。
最先端のDL中心アーキテクチャは、DL計算を専用のDLフレームワークにオフロードします。
UDF中心アーキテクチャの可能性は、リレーショナルデータベース管理システム(RDBMS)内の1つ以上のテンソル計算をユーザ定義関数(UDF)にカプセル化する。
論文 参考訳(メタデータ) (2023-10-07T06:01:35Z) - Neural Architecture Retrieval [27.063268631346713]
我々は、クエリニューラルアーキテクチャに似た設計で既存のニューラルアーキテクチャの集合を検索するニューラルアーキテクチャ検索という新しい問題を定義する。
既存のグラフ事前学習戦略は、グラフのサイズとモチーフのため、ニューラルネットワークの計算グラフに対処できない。
正確なグラフ表現学習を実現するために,マルチレベルコントラスト学習を導入する。
論文 参考訳(メタデータ) (2023-07-16T01:56:41Z) - Understanding Deep Architectures with Reasoning Layer [60.90906477693774]
本研究では,アルゴリズムの収束,安定性,感度といった特性が,エンドツーエンドモデルの近似と一般化能力と密接に関連していることを示す。
私たちの理論は、深いアーキテクチャを推論層で設計するための有用なガイドラインを提供することができます。
論文 参考訳(メタデータ) (2020-06-24T00:26:35Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳(メタデータ) (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。