論文の概要: Intrinsic Information-Theoretic Analysis of ReLU Nets
- arxiv url: http://arxiv.org/abs/2610.36864v1
- Date: Tue, 27 Oct 2026 09:01:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.550077
- Title: Intrinsic Information-Theoretic Analysis of ReLU Nets
- Title（参考訳）: 固有情報理論によるReLUネットの解析
- Abstract要約: 本稿では,ReLUネットワークを含むCPWLネットワークが本質的な情報理論解析を許容していることを示す。
相互情報$I(Y;T)$を解釈可能な幾何学用語に分解する。
本稿では,CPWLネットワークの内部情報構造解析のためのフレームワークについて述べる。
- 参考スコア（独自算出の注目度）: 17.6706158124413
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mutual information (MI) is fundamental to representation-learning analysis in deep networks, but in high dimensions MI estimators depend on hyperparameters whose bias often dominates the signal. We show that continuous piecewise-linear (CPWL) networks, including ReLU networks, admit an intrinsic information-theoretic analysis that avoids this pitfall: their inherent partition of the input space into convex linear regions assigns to every input a discrete region label $Π$ alongside the continuous representation $T$ and label $Y$. We introduce a decomposition of the mutual information $I(Y;T)$ into interpretable geometric terms. We show that the dominant term, the *routing information* $I(Y; Π)$, admits an estimable plug-in estimator, that in the well-sampled regime, approximates a population lower bound on the joint information $I(Y; Π, T)$. When the partition saturates, a functional-equivalence quotient collapses regions implementing the same linear operator and restores informativeness; this extension has a single bounded, dimensionless parameter, which is reported through the quotient's compression ratio. The routing estimator agrees strongly with three established MI baselines applied to the same networks and data. The functional quotient recovers informative estimates in the regime bordering the well-sampled and under-sampled regime. We provide a framework for analysing the internal information geometry of CPWL networks, grounded in their inherent piecewise-linear structure rather than in external discretisation.
- Abstract（参考訳）: 相互情報(MI)は深層ネットワークにおける表現学習解析の基礎であるが、高次元のMI推定器は信号のバイアスが支配するハイパーパラメータに依存する。
この落とし穴を避けるために、ReLUネットワークを含む連続片方向線形(CPWL)ネットワークは、本質的な情報理論解析を許容し、入力空間を凸線型領域に固有の分割は、連続表現$T$とラベル$Y$と共に、各入力に$$$を割り当てることを示した。
相互情報$I(Y;T)$を解釈可能な幾何学用語に分解する。
支配的な用語である*routing information* $I(Y; ?)$は、推定可能なプラグイン推定器を認め、十分にサンプリングされた状態においては、結合情報$I(Y; s, T)$ の低い集団を近似することを示す。
分割が飽和すると、関数同値商が同じ線形作用素を実装した領域を崩壊させ、情報性を取り戻す。
ルーティング推定器は、同一ネットワークとデータに適用された3つの確立されたMIベースラインと強く一致する。
この関数的商法は、よくサンプリングされた、そしてアンダーサンプリングされた政権に接する政権における情報的見積を回収する。
本稿では,CPWLネットワークの内部情報構造を分析するためのフレームワークについて述べる。
関連論文リスト
- A priori Assessment of Tensor-Network Encoding for Isotropic Turbulent Flows [0.8634867517077641]
行列積状態 (MPS) アンザッツは、等方性乱流データの切り詰められた表現を構築するための低次モデリングフレームワークとして用いられる。
ベロシティ再構成は元のDNSメモリのわずか5%で99.8%の忠実度を達成するが、スカラーフィールドは15%のメモリ使用率で同じ忠実度に達する。
論文 参考訳（メタデータ） (2026-08-28T21:10:10Z) - Learning Topological Features of $\widehat Z$-invariants [1.1383035117449551]
無限の$q$-series、あるいは等価に無限の整数列として構造化された数学的データを扱うための体系的なアプローチを導入する。
ニューラルネットワークは,$q$-series係数から直接,ホモロジークラスや基礎となるグラフ構造などの重要なトポロジ情報を確実に抽出できることを示す。
最後に、このパイプラインを用いてホモロジーコボルドを探索し、$widehatZ$-invariant exponentsとHeegaard Floer $d$-invariantsの間の高精度な予測関係を発見する。
論文 参考訳（メタデータ） (2026-08-19T06:01:35Z) - CuBAS: Information Geometric Curvature-Based Adaptive Sampling for Supervised Classification [52.452902154360565]
CuBASは、教師付き分類における適応データ選択のための情報幾何学的フレームワークである。
ラベル付きデータセットは統計多様体と見なすことができ、局所曲率は2階と1階の観測されたフィッシャー情報の比率で推定され、データの分布の幾何学的複雑さを忠実にエンコードする。
論文 参考訳（メタデータ） (2026-07-03T09:36:02Z) - A Mean Curvature Approach to Boundary Detection: Geometric Insights for Unsupervised Learning [52.452902154360565]
本稿では,幾何学的機械学習に基づく新しい幾何学的フレームワークであるMean Curvature Boundary Points (MCBP)を紹介する。
MCBPはデータ多様体の固有曲率を明示的にモデル化し、原理化された多様体のパラメトリゼーションを必要としない点平均曲率を計算する。
合成および実世界のデータセットの実験により、MCBPはクラスタリング性能を一貫して改善することを示した。
論文 参考訳（メタデータ） (2026-05-05T20:19:09Z) - Information Plane Analysis of Binary Neural Networks [6.259398755176288]
我々は、アクティベーションが離散的でMIが有限なバイナリニューラルネットワーク(BNN)のIP分析を行う。
我々は、後期圧縮相の存在と圧縮表現と一般化性能の関係を調査するためにBNNを訓練する。
論文 参考訳（メタデータ） (2026-05-05T11:08:18Z) - Curvature-Aware PCA with Geodesic Tangent Space Aggregation for Semi-Supervised Learning [52.452902154360565]
GTSA-PCAは主成分分析の幾何学的拡張である。
曲率認識と測地的整合性を統合されたスペクトルフレームワークに統合する。
以上の結果から,GTSA-PCAは次元減少に対する統計的および幾何学的アプローチの原則的ブリッジとして位置づけられた。
論文 参考訳（メタデータ） (2026-04-20T20:36:36Z) - Characterization of Residual Morphological Substructure Using Supervised and Unsupervised Deep Learning [0.8155389502563688]
我々は、教師付き畳み込みニューラルネットワーク(CNN)と教師なし畳み込み変分オートエンコーダ(CvAE)を開発する。
「我々のユニークなデータ前処理アプローチを用いて、我々のDLネットワークへの入力が関心の銀河のみを構成するように残像を作成する。」
我々はPCA空間における制御CNN潜伏特性が$SPF$値と相関し,定性的に強い部分構造と弱い部分構造を区別することを発見した。
論文 参考訳（メタデータ） (2026-02-21T16:08:25Z) - An approach to Fisher-Rao metric for infinite dimensional non-parametric information geometry [0.6138671548064355]
無限次元であることから、非パラメトリックな情報幾何学は長い間「難易度障壁」に直面してきた。
本稿では,タンジェント空間の直交分解による難易度解決のための新しい枠組みを提案する。
情報キャプチャ比を定義することにより,高次元データの内在次元を推定する厳密な手法を提案する。
論文 参考訳（メタデータ） (2025-12-25T00:18:41Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。