論文の概要: A Lower Bound for the Number of Linear Regions of Ternary ReLU Regression Neural Networks

• arxiv url: http://arxiv.org/abs/2507.16079v1
• Date: Mon, 21 Jul 2025 21:29:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:13.900308
• Title: A Lower Bound for the Number of Linear Regions of Ternary ReLU Regression Neural Networks
• Title（参考訳）: 3次ReLU回帰ニューラルネットワークの線形領域数に対する下界
• Authors: Yuta Nakahara, Manabu Kobayashi, Toshiyasu Matsushima,
• Abstract要約: 線形領域数の観点から3次NNの表現率を理論的に解析する。 3次NNの幅を2倍にするか、あるいは2倍にすれば、一般的なReLU回帰NNに匹敵する線形領域の最大値に収まることを示す。
• 参考スコア（独自算出の注目度）: 2.048226951354646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the advancement of deep learning, reducing computational complexity and memory consumption has become a critical challenge, and ternary neural networks (NNs) that restrict parameters to $\{-1, 0, +1\}$ have attracted attention as a promising approach. While ternary NNs demonstrate excellent performance in practical applications such as image recognition and natural language processing, their theoretical understanding remains insufficient. In this paper, we theoretically analyze the expressivity of ternary NNs from the perspective of the number of linear regions. Specifically, we evaluate the number of linear regions of ternary regression NNs with Rectified Linear Unit (ReLU) for activation functions and prove that the number of linear regions increases polynomially with respect to network width and exponentially with respect to depth, similar to standard NNs. Moreover, we show that it suffices to either square the width or double the depth of ternary NNs to achieve a lower bound on the maximum number of linear regions comparable to that of general ReLU regression NNs. This provides a theoretical explanation, in some sense, for the practical success of ternary NNs.
• Abstract（参考訳）: ディープラーニングの進歩により、計算複雑性とメモリ消費の削減は重要な課題となり、パラメータを$\{-1, 0, +1\}$に制限する3次ニューラルネットワーク(NN)は、有望なアプローチとして注目を集めている。 3次NNは画像認識や自然言語処理などの実用的な応用において優れた性能を示すが、理論的な理解は依然として不十分である。 本稿では, 線形領域数の観点から, 三成分系NNの表現率を理論的に解析する。 具体的には、活性化関数としてRectified Linear Unit (ReLU) を用いた3次回帰NNの線形領域数を評価し、線形領域の数はネットワーク幅に対して多項式的に増加し、標準NNと同様の深さに対して指数的に増加することを示す。 さらに,3次NNの幅を2乗あるいは2倍にすることで,一般ReLU回帰NNの値に匹敵する線形領域の最大値に対する下界が得られることを示す。 これは、ある意味第三次NNの実践的な成功のために理論的な説明を提供する。

関連論文リスト

• Neural Network Verification with Branch-and-Bound for General Nonlinearities [63.39918329535165]
  ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証において最も効果的な手法の一つである。 我々は、一般的な非線形性にBaBを実行し、一般的なアーキテクチャでNNを検証する汎用フレームワークGenBaBを開発した。 我々のフレームワークは、一般的な非線形グラフの検証を可能にし、単純なNNを超えた検証アプリケーションを可能にする。
  論文  参考訳（メタデータ） (2024-05-31T17:51:07Z)
• Neural Networks for Singular Perturbations [0.0]
  特異摂動楕円型二点境界値問題のモデルクラスの解集合に対する表現率境界を証明した。 我々は, NNサイズの観点から, ソボレフノルムの表現速度境界を定めている。
  論文  参考訳（メタデータ） (2024-01-12T16:02:18Z)
• The Evolution of the Interplay Between Input Distributions and Linear Regions in Networks [20.97553518108504]
  ReLUに基づくディープニューラルネットワークにおける線形凸領域の数をカウントする。 特に、任意の1次元入力に対して、それを表現するのに必要となるニューロンの数に対して最小限の閾値が存在することを証明している。 また、トレーニング中のReLUネットワークにおける決定境界の反復的改善プロセスも明らかにした。
  論文  参考訳（メタデータ） (2023-10-28T15:04:53Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• On the Number of Regions of Piecewise Linear Neural Networks [16.78532039510369]
  多くのフィードフォワードニューラルネットワーク(NN)はCPWLマッピングを生成する。 これらのいわゆる線形領域の数は、CPWL NNの表現性を特徴付ける自然な計量を提供する。 本稿では,CPWL NN が生成する線形領域の平均数を推定する補完的フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-17T08:17:28Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• A General Computational Framework to Measure the Expressiveness of Complex Networks Using a Tighter Upper Bound of Linear Regions [13.030269373463168]
  整流器ネットワークによって分割される領域番号の上限は、数値自体の代わりに、DNNの表現力のより実用的な測定である。 我々は,任意のネットワーク構造に対して,新しい,より厳密なアップ・パー・バウンド領域番号を提案する。 私たちの実験では、上界が既存のものよりも密接であることを示し、スキップ接続と残余構造がネットワーク性能を改善する理由を説明します。
  論文  参考訳（メタデータ） (2020-12-08T14:01:20Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。