論文の概要: AffineLens: Capturing the Continuous Piecewise Affine Functions of Neural Networks
- arxiv url: http://arxiv.org/abs/2605.06218v1
- Date: Thu, 07 May 2026 13:16:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.826834
- Title: AffineLens: Capturing the Continuous Piecewise Affine Functions of Neural Networks
- Title(参考訳): AffineLens: ニューラルネットワークの連続的なアフィン関数のキャプチャ
- Authors: Yi Wei, Xuan Qi, Furao shen, Jian Zhao, Vittorio Murino, Cigdem Beyan,
- Abstract要約: Piecewise Affine Neural Network (PANN) は、ニューラルネットワークの表現性に関する原則的な幾何学的視点を提供する。
AffineLensは、超平面配置とPANNを基盤とした多面体構造を計算するための統一的なフレームワークである。
- 参考スコア(独自算出の注目度): 23.025211488990077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Piecewise affine neural networks (PANNs) provide a principled geometric perspective on neural network expressivity by characterizing the input--output map as a continuous piecewise affine (CPA) function whose complexity is governed by the number, arrangement, and shapes of its affine regions. However, existing interpretability and expressivity analyses often rely on indirect proxies (e.g., activation statistics or theoretical upper bounds) and rarely offer practical, accurate tools for enumerating and visualizing the induced region partition under realistic architectures and bounded input domains. In this work, we present AffineLens, a unified framework for computing the hyperplane arrangements and polyhedral structures underlying PANNs. Given a calibrated (bounded) input polytope, AffineLens identifies the subset of neuron-induced hyperplanes that intersect the domain, enumerates the resulting affine sub-regions in a layer-wise manner, and returns provably non-empty maximal CPA regions together with interior representatives. The framework further provides visualizations of region partitioning and decision boundaries, enabling qualitative inspection alongside quantitative region counts. By exploiting the affine restriction property of CPA networks under fixed activation patterns, AffineLens supports a broad class of modern components, including batch normalization, pooling, residual connections, multilayer perceptrons, and convolutional layers. Finally, we use AffineLens to perform a systematic empirical study of architectural expressivity, comparing networks through region complexity metrics and revealing how design choices influence the geometry of learned functions.
- Abstract(参考訳): ピースワイドアフィンニューラルネットワーク(PANN)は、入力出力マップを、そのアフィン領域の数、配列、形状によって、複雑さが支配される連続的ピースワイドアフィン(CPA)関数として特徴付けることにより、ニューラルネットワークの表現性に関する原則的な幾何学的視点を提供する。
しかし、既存の解釈可能性と表現性の分析はしばしば間接プロキシ(例えばアクティベーション統計や理論上界)に依存しており、現実的なアーキテクチャや有界入力領域の下で誘導された領域分割を列挙し視覚化するための実践的で正確なツールをほとんど提供しない。
本研究では、超平面配置とPANNを基盤とした多面体構造を計算するための統一的なフレームワークであるAffineLensを紹介する。
校正された(有界な)入力ポリトープが与えられたとき、AffineLensはドメインと交差するニューロンによって誘導される超平面のサブセットを特定し、その結果のアフィンサブリージョンを階層的に列挙し、インテリア代表とともに証明可能な非空の最大CPA領域を返す。
このフレームワークはさらに、領域分割と決定境界の可視化を提供し、定量領域数とともに質的な検査を可能にする。
固定活性化パターン下でのCPAネットワークのアフィン制限特性を活用することで、AffineLensはバッチ正規化、プーリング、残コネクション、多層パーセプトロン、畳み込み層を含む、幅広いモダンなコンポーネントをサポートする。
最後に、AffineLensを用いてアーキテクチャ表現の体系的研究を行い、地域複雑性メトリクスによるネットワークの比較を行い、設計選択が学習関数の幾何学にどのように影響するかを明らかにする。
関連論文リスト
- GeoGNN: Quantifying and Mitigating Semantic Drift in Text-Attributed Graphs [59.61242815508687]
テキスト分散グラフ(TAG)上のグラフニューラルネットワーク(GNN)は、事前訓練された言語モデル(PLM)を使用してノードテキストを符号化し、これらの埋め込みを線形近傍アグリゲーションを通じて伝播する。
本研究は,意味的ドリフトの度合いを計測する局所PCAベースの計量を導入し,異なる凝集機構が多様体構造にどのように影響するかを解析するための最初の定量的枠組みを提供する。
論文 参考訳(メタデータ) (2025-11-12T06:48:43Z) - Constraining the outputs of ReLU neural networks [13.645092880691188]
本稿では、ReLUニューラルネットワークに自然に関連付けられた代数多様体のクラスを紹介する。
各活性化領域内のネットワーク出力のランク制約を解析することにより、ネットワークが表現可能な関数を特徴付ける構造を導出する。
論文 参考訳(メタデータ) (2025-08-05T19:30:11Z) - Emergence of Globally Attracting Fixed Points in Deep Neural Networks With Nonlinear Activations [24.052411316664017]
本稿では、2つの異なる入力に対して隠された表現の類似性を計測するカーネルシーケンスの進化に関する理論的枠組みを提案する。
非線形アクティベーションに対しては、カーネルシーケンスは、アクティベーションとネットワークアーキテクチャに依存する同様の表現に対応可能な、一意の固定点にグローバルに収束する。
この研究は、ディープニューラルネットワークの暗黙のバイアスと、アーキテクチャ上の選択が層間の表現の進化にどのように影響するかについて、新たな洞察を提供する。
論文 参考訳(メタデータ) (2024-10-26T07:10:47Z) - Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。
本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。
MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
論文 参考訳(メタデータ) (2024-02-04T08:57:42Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳(メタデータ) (2023-05-25T14:17:15Z) - On the Number of Regions of Piecewise Linear Neural Networks [16.78532039510369]
多くのフィードフォワードニューラルネットワーク(NN)はCPWLマッピングを生成する。
これらのいわゆる線形領域の数は、CPWL NNの表現性を特徴付ける自然な計量を提供する。
本稿では,CPWL NN が生成する線形領域の平均数を推定する補完的フレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-17T08:17:28Z) - A General Computational Framework to Measure the Expressiveness of
Complex Networks Using a Tighter Upper Bound of Linear Regions [13.030269373463168]
整流器ネットワークによって分割される領域番号の上限は、数値自体の代わりに、DNNの表現力のより実用的な測定である。
我々は,任意のネットワーク構造に対して,新しい,より厳密なアップ・パー・バウンド領域番号を提案する。
私たちの実験では、上界が既存のものよりも密接であることを示し、スキップ接続と残余構造がネットワーク性能を改善する理由を説明します。
論文 参考訳(メタデータ) (2020-12-08T14:01:20Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳(メタデータ) (2020-09-08T13:10:21Z) - Local Propagation in Constraint-based Neural Network [77.37829055999238]
ニューラルネットワークアーキテクチャの制約に基づく表現について検討する。
本稿では,いわゆるアーキテクチャ制約を満たすのに適した簡単な最適化手法について検討する。
論文 参考訳(メタデータ) (2020-02-18T16:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。