論文の概要: Expressivity Saturation: Reduced Affine Region Usage Under Increasing Task Complexity

• arxiv url: http://arxiv.org/abs/2606.21687v1
• Date: Fri, 19 Jun 2026 18:55:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 03:55:34.807367
• Title: Expressivity Saturation: Reduced Affine Region Usage Under Increasing Task Complexity
• Title（参考訳）: アクティビティ飽和:タスク複雑度の増加によるアフィン領域の使用量削減
• Authors: Xuan Qi, Yi Wei, Fanqi Yu, Manuel Lecha,
• Abstract要約: ピースワイズ・ファインニューラルネットワークは、連続的なピースワイズ・ファインマップを実装している。 実験後に実現した理論領域容量とアフィン領域のギャップについて検討した。
• 参考スコア（独自算出の注目度）: 5.366707531676941
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Piecewise-affine neural networks (e.g., with ReLU or LeakyReLU activations) implement continuous piecewise-affine maps, and the number of affine regions provides a natural proxy for expressive capacity. However, the gap between theoretical region capacity and the affine regions realized after training remains insufficiently understood. We study this gap from two complementary perspectives. First, we give a rigorous, architecture-dependent theorem for affine line-segment probes: for multilayer perceptrons with piecewise-affine activations, the number of affine pieces realized along an affine line-segment probe is upper bounded by an explicit product of layer-wise width terms (and activation breakpoint factors). This yields a neuron-threshold lower bound for representing target functions with prescribed one-dimensional piece complexity, formalizing the minimal region budget required for complex signals. Second, we exactly enumerate affine regions realized within bounded 2D and higher-dimensional domains under controlled task complexity. Under fixed architectures and training protocols, increasing input--label complexity yields trained solutions with markedly fewer realized regions in the evaluation domain, even though worst-case architectural capacity is unchanged; we call this reduced region usage expressivity saturation. Moreover, in the most challenging regimes, 2D visualizations show that region-usage collapse often coincides with degraded decision boundaries. Finally, we visualize the training dynamics of affine-region partitions and decision boundaries, revealing a consistent refinement process during optimization.
• Abstract（参考訳）: ピースワイズ・アフィンニューラルネットワーク(例えば、ReLUやLeakyReLUのアクティベーションを含む)は、連続的なピースワイズ・アフィンマップを実装し、アフィン領域の数は、表現能力の自然なプロキシを提供する。 しかし, 理論領域能力と訓練後に実現したアフィン領域とのギャップは十分に理解されていない。 このギャップを2つの相補的な視点から研究する。 まず,アフィンラインセグメンテーションプローブに対して,アフィンラインセグメンテーションプローブで実現された多層パーセプトロンに対して,アフィンラインセグメンテーションプローブに沿って実現されたアフィン部品の数は,層幅項(および活性化ブレークポイント因子)の明示的な積によって上界化される。 これにより、所定の1次元の複雑さを持つ対象関数を表すニューロン閾値の低い境界が得られ、複雑な信号に必要な最小限の領域予算が定式化される。 第二に、制御されたタスク複雑性の下で、有界2次元および高次元領域内で実現されたアフィン領域を正確に列挙する。 固定されたアーキテクチャとトレーニングプロトコルの下では、入力ラベルの複雑さの増加は、最悪のアーキテクチャ能力が変化しても、評価領域で実現された領域が著しく少ない訓練されたソリューションを生み出す。 さらに、最も困難な状況において、2次元可視化は、地域利用の崩壊は、しばしば劣化した決定境界と一致することを示している。 最後に,アフィン分割と決定境界のトレーニングダイナミクスを可視化し,最適化中の一貫した改善過程を明らかにする。

関連論文リスト

• AffineLens: Capturing the Continuous Piecewise Affine Functions of Neural Networks [23.025211488990077]
  Piecewise Affine Neural Network (PANN) は、ニューラルネットワークの表現性に関する原則的な幾何学的視点を提供する。 AffineLensは、超平面配置とPANNを基盤とした多面体構造を計算するための統一的なフレームワークである。
  論文  参考訳（メタデータ） (2026-05-07T13:16:39Z)
• SAND: Spatially Adaptive Network Depth for Fast Sampling of Neural Implicit Surfaces [91.71563221166417]
  入射神経表現は幾何学的モデリングには強力であるが、その実用性は高い計算コストによって制限されることが多い。 本稿では,空間適応型ネットワーク深度を用いた効率的なニューラル暗黙的幾何表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-15T14:14:17Z)
• On the Number of Regions of Piecewise Linear Neural Networks [16.78532039510369]
  多くのフィードフォワードニューラルネットワーク(NN)はCPWLマッピングを生成する。 これらのいわゆる線形領域の数は、CPWL NNの表現性を特徴付ける自然な計量を提供する。 本稿では,CPWL NN が生成する線形領域の平均数を推定する補完的フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-17T08:17:28Z)
• Region-Based Semantic Factorization in GANs [67.90498535507106]
  本稿では,任意の画像領域についてGAN(Generative Adversarial Networks)が学習した潜在意味を分解するアルゴリズムを提案する。 適切に定義された一般化されたレイリー商を通して、アノテーションや訓練なしにそのような問題を解く。 様々な最先端のGANモデルに対する実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-02-19T17:46:02Z)
• InverseForm: A Loss Function for Structured Boundary-Aware Segmentation [80.39674800972182]
  逆変換ネットワークを用いたセマンティックセグメンテーションのための新しい境界認識損失項を提案する。 このプラグイン損失項は境界変換の捕捉におけるクロスエントロピー損失を補完する。 室内および屋外のセグメンテーションベンチマークにおける損失関数の定量的および定性的効果を解析した。
  論文  参考訳（メタデータ） (2021-04-06T18:52:45Z)
• Using activation histograms to bound the number of affine regions in ReLU feed-forward neural networks [3.04585143845864]
  ReLUフィードフォワードニューラルネットワークのアフィン領域の最大数に対するいくつかの電流境界は特別な場合である。 我々は,この枠組みを十分に活用する代数トポロジーの問題を分析し,部分的に解決する。
  論文  参考訳（メタデータ） (2021-03-31T15:50:44Z)
• Hierarchical Verification for Adversarial Robustness [89.30150585592648]
  正解点$ell_p$ロバスト性検証問題に対する新しいフレームワークを提案する。 LayerCertは、修正線形アクティベーション(ReLU)を用いたディープフィードフォワードネットワークの階層的幾何構造を利用する 提案手法は,GeoCertに比べて,解決すべき凸プログラムの数とサイズを確実に削減できることを示す。
  論文  参考訳（メタデータ） (2020-07-23T07:03:05Z)
• Local Propagation in Constraint-based Neural Network [77.37829055999238]
  ニューラルネットワークアーキテクチャの制約に基づく表現について検討する。 本稿では,いわゆるアーキテクチャ制約を満たすのに適した簡単な最適化手法について検討する。
  論文  参考訳（メタデータ） (2020-02-18T16:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。