論文の概要: On the algorithmic construction of deep ReLU networks

• arxiv url: http://arxiv.org/abs/2506.19104v1
• Date: Mon, 23 Jun 2025 20:35:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.376639
• Title: On the algorithmic construction of deep ReLU networks
• Title（参考訳）: ディープReLUネットワークのアルゴリズム構築について
• Authors: Daan Huybrechs,
• Abstract要約: 我々はニューラルネットワークをアルゴリズムとして捉えている。 このアナロジーでは、ニューラルネットワークはデータから訓練されるのではなく、構築的にプログラムされる。 既存の例と新しい例の両方を構築し,分析する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is difficult to describe in mathematical terms what a neural network trained on data represents. On the other hand, there is a growing mathematical understanding of what neural networks are in principle capable of representing. Feedforward neural networks using the ReLU activation function represent continuous and piecewise linear functions and can approximate many others. The study of their expressivity addresses the question: which ones? Contributing to the available answers, we take the perspective of a neural network as an algorithm. In this analogy, a neural network is programmed constructively, rather than trained from data. An interesting example is a sorting algorithm: we explicitly construct a neural network that sorts its inputs exactly, not approximately, and that, in a sense, has optimal computational complexity if the input dimension is large. Such constructed networks may have several billion parameters. We construct and analyze several other examples, both existing and new. We find that, in these examples, neural networks as algorithms are typically recursive and parallel. Compared to conventional algorithms, ReLU networks are restricted by having to be continuous. Moreover, the depth of recursion is limited by the depth of the network, with deep networks having superior properties over shallow ones.
• Abstract（参考訳）: データに基づいてトレーニングされたニューラルネットワークが何を表現しているかを数学的に記述することは困難である。 一方で、ニューラルネットワークが原則的に表現できるものについて、数学的に理解を深めている。 ReLUアクティベーション関数を用いたフィードフォワードニューラルネットワークは、連続的および断片的線形関数を表し、他の多くの関数を近似することができる。 彼らの表現性の研究は、疑問に対処している。 利用可能な回答に貢献するため、ニューラルネットワークをアルゴリズムとして捉えます。 このアナロジーでは、ニューラルネットワークはデータから訓練されるのではなく、構築的にプログラムされる。 興味深い例はソートアルゴリズムである: 入力を正確にソートするニューラルネットワークを明示的に構築し、およそではなく、ある意味では、入力次元が大きければ最適な計算複雑性を持つ。 このような構築されたネットワークは、数十億のパラメータを持つ可能性がある。 既存の例と新しい例の両方を構築し,分析する。 これらの例では、アルゴリズムとしてのニューラルネットワークは典型的に再帰的で並列である。 従来のアルゴリズムと比較して、ReLUネットワークは連続性を持つことによって制限される。 さらに、再帰の深さはネットワークの深さによって制限され、浅いネットワークよりも優れた特性を持つ。

関連論文リスト

• Verified Neural Compressed Sensing [58.98637799432153]
  精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。 極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。 ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
  論文  参考訳（メタデータ） (2024-05-07T12:20:12Z)
• DeepCSHAP: Utilizing Shapley Values to Explain Deep Complex-Valued Neural Networks [7.4841568561701095]
  ディープニューラルネットワークは、アカデミーや企業や公共のアプリケーションで広く使われている。 アウトプットを説明する能力は、安全上の理由だけでなく、応募者の受け入れにも不可欠である。 複素数値ニューラルネットワークでの使用に適した4つの勾配に基づく説明法を提案する。
  論文  参考訳（メタデータ） (2024-03-13T11:26:43Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Neural networks with linear threshold activations: structure and algorithms [1.795561427808824]
  クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。 また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。 我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
  論文  参考訳（メタデータ） (2021-11-15T22:33:52Z)
• Dive into Layers: Neural Network Capacity Bounding using Algebraic Geometry [55.57953219617467]
  ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。 入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。 実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
  論文  参考訳（メタデータ） (2021-09-03T11:45:51Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。