論文の概要: A Class of Rényi-based Concentration Metrics for Kolmogorov-Arnold Geometry in Multilayer Perceptrons

• arxiv url: http://arxiv.org/abs/2610.23267v1
• Date: Fri, 16 Oct 2026 10:40:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.877776
• Title: A Class of Rényi-based Concentration Metrics for Kolmogorov-Arnold Geometry in Multilayer Perceptrons
• Title（参考訳）: 多層受容器におけるコルモゴロフ・アルノルド幾何に対するレニイ系濃度計の一類
• Abstract要約: Kolmogorov-Arnold-Arnold:$-RCメトリクスは、レニイに基づく濃度測定のファミリーである。 $-RCメトリクスは、未成年者の正規化された大きさと均一な分布を比較する。 $-RCのメトリクスは$$で非減少し、$ = 2で$はParticipation Ratioの明示的な変換に還元される。
• 参考スコア（独自算出の注目度）: 1.1470070927586018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The interpretability of artificial intelligence models has become a central concern, especially for black-box models such as multilayer perceptrons (MLPs). Kolmogorov-Arnold Geometry has recently emerged as a framework for analysing the internal representations of these networks, by examining how the hidden layer locally responds to changes in the input through the minors of its Jacobian. The degree to which a few of these minors dominate the rest, known as their concentration, has so far been measured with the Participation Ratio. Although this metric has useful properties, its maximum value depends on the size of the network, so a given value cannot be read as high or low concentration without reference to the architecture. To overcome this limitation, in this paper we propose the $α$-RC metrics, a family of Rényi-based concentration measures that compare the normalized magnitudes of the minors with the uniform distribution through the Rényi divergence of order $α$. All the metrics in the family are bounded between 0 and 1 regardless of the architecture, with 0 indicating that the magnitude is evenly spread over the minors and 1 that it is carried by a single one. Moreover, the metrics are non-decreasing in $α$, and for $α$ = 2 they reduce to an explicit transformation of the Participation Ratio. Computational experiments with single-hidden-layer MLPs trained on a synthetic dataset show the benefits of our proposal.
• Abstract（参考訳）: 人工知能モデルの解釈可能性は、特に多層パーセプトロン(MLP)のようなブラックボックスモデルにおいて中心的な関心事となっている。 Kolmogorov-Arnold Geometry(英語版)は、最近これらのネットワークの内部表現を分析するためのフレームワークとして出現し、隠れた層がジャコビアンの未成年者による入力の変化にどのように局所的に反応するかを調べた。 これらの未成年者の数人が、その濃度として知られる他の部分を支配している程度は、これまで、参加比率で測定されてきた。 この計量は有用な性質を持っているが、その最大値はネットワークのサイズに依存するため、アーキテクチャに言及することなく、与えられた値は高濃度または低濃度では読めない。 この制限を克服するために、この論文では、レニイの正規化等級と、レニイの次数$α$の発散による一様分布を比較するレニイの濃度尺度である$α$-RCメトリクスを提案する。 家族のすべての測度は、アーキテクチャによらず、0 と 1 の間に有界であり、0 は小数点に均等に広まり、 1 は 1 によってもたらされることを示す。 さらに、メトリクスは$α$で非減少し、$α$ = 2の場合、参加比の明示的な変換に還元される。 合成データセット上で学習した単層MLPを用いた計算実験により,提案手法の利点が示された。

関連論文リスト

• Nonparametric In-Context Learning under Growing Geometric Complexity: Minimax Optimality and Local Geometry-Adaptivity of Transformers [2.757667582934974]
  本研究では,未知の局所幾何学の下での予測問題について検討する。 我々は,一致した上界を持つオラクル接点局所多項式推定器を構築した。 このクラスに対する経験的リスク最小化器のコンテキスト内一般化を導出する。
  論文  参考訳（メタデータ） (2026-09-25T16:10:53Z)
• Implicit Regularization and Generalization in Overparameterized Neural Networks [0.0]
  小さなバッチサイズは一貫して低いテストエラーとフラットなミニマを生み出した。 スパースワークは、再訓練された際の完全なモデル性能の1.15ポイント以内に達成されたパラメータの10%しか保持していない。
  論文  参考訳（メタデータ） (2026-04-08T21:21:44Z)
• Low-degree Lower bounds for clustering in moderate dimension [53.03724383992195]
  我々は、$n$点を$K$群にクラスタリングする根本的な問題を、$mathbbRd$における等方ガウスの混合から引き出された。 我々は、$n leq dK$のクラスタリングの難しさは次元の縮小とスペクトル法によって引き起こされるが、中等次元のレジームはより微妙な現象を伴い、「非最適率」につながることを示した。 我々は、この速度にマッチする新しい非スペクトルアルゴリズムを提案し、中等次元のクラスタリング問題の計算限界に新しい光を当てる。
  論文  参考訳（メタデータ） (2026-02-26T14:03:55Z)
• Geometric Manifold Rectification for Imbalanced Learning [12.921833067052928]
  GMR(Geometric Manifold Rectification)は,局所的な幾何学的前提を生かして不均衡な構造化データを扱う新しいフレームワークである。 GMRは,(1)逆距離重み付きkNN投票と適応距離メートル法を用いて局所的信頼度を推定する幾何的信頼度推定,(2)少数検体に対して厳格な非対称的クリーニング,(2)少数検体を少数検体から保護し,少数検体を保護し,少数検体を保護した。
  論文  参考訳（メタデータ） (2026-02-13T15:59:32Z)
• Fundamental Limits of Community Detection in Contextual Multi-Layer Stochastic Block Models [4.312207944236305]
  高次元共変量行列と$L$スパースネットワークの合同観測からコミュニティ検出の問題を考える。 ネットワークの平均等級が一定であり,特徴数$p$が$n$に比例して増加するスパース体制では,対象ラベルの検出と推定が可能なシャープしきい値が導出される。 以上の結果から,この設定には統計的・計算的ギャップが存在しないことが示唆された。
  論文  参考訳（メタデータ） (2026-02-09T00:27:54Z)
• Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
  安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。 低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。 文献に現れる異種の経験的所見を総合的に検討した。
  論文  参考訳（メタデータ） (2025-10-20T21:40:36Z)
• Benign Overfitting and the Geometry of the Ridge Regression Solution in Binary Classification [75.01389991485098]
  リッジ回帰はクラスタ平均ベクトルのスケールによって定性的に異なる挙動を示す。 スケールが非常に大きいレジームでは、良心過剰を許容する条件は回帰タスクと同一であることが判明した。
  論文  参考訳（メタデータ） (2025-03-11T01:45:42Z)
• Learning Discretized Neural Networks under Ricci Flow [48.47315844022283]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• Symmetries, flat minima, and the conserved quantities of gradient flow [20.12938444246729]
  パラメータ空間における連続対称性を見つけるための枠組みについて述べる。 この枠組みを非線形ニューラルネットワークに一般化するために,非線形・データ依存対称性の新たな集合を導入する。
  論文  参考訳（メタデータ） (2022-10-31T10:55:30Z)
• Sample Complexity of Nonparametric Off-Policy Evaluation on Low-Dimensional Manifolds using Deep Networks [71.95722100511627]
  深層ニューラルネットワークを用いた強化学習における非政治的評価問題について考察する。 ネットワークサイズを適切に選択することにより、マルコフ決定過程において低次元多様体構造を利用することができることを示す。
  論文  参考訳（メタデータ） (2022-06-06T20:25:20Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。