Fugu-MT 論文翻訳(概要): Fisher Simplicity in Kolmogorov-Arnold Networks and Multilayer Perceptrons

論文の概要: Fisher Simplicity in Kolmogorov-Arnold Networks and Multilayer Perceptrons

arxiv url: http://arxiv.org/abs/2609.32503v2
Date: Wed, 30 Sep 2026 06:33:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-01 18:57:25.73816
Title: Fisher Simplicity in Kolmogorov-Arnold Networks and Multilayer Perceptrons
Title（参考訳）: Kolmogorov-Arnoldネットワークと多層パーセプトロンにおける釣りの単純性
Abstract要約: Kolmogorov-Arnold Networks (KAN) は、部分的には解釈可能性によって動機付けられている。固定基底kanでは、小あるいはゼロ基底係数は単純さの証明書のように見える。実効露光ゼロは、エッジ内のフィッシャー・ヌル方向を正確に識別する。
参考スコア（独自算出の注目度）: 4.984601297028257
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Kolmogorov-Arnold Networks (KANs) are motivated in part by interpretability: their learned edge functions can be inspected, pruned, and reduced to symbolic structure. In a fixed-basis KAN, this makes a small or zero basis coefficient look like a certificate of simplicity, much as a dead rectified linear unit (ReLU) marks unused computation in a multilayer perceptron (MLP). Fisher nullity gives a precise statistical notion: a parameter direction is Fisher-simple exactly when perturbing it is invisible under the task distribution. We study when these architectural and Fisher notions agree. For a dead ReLU unit, they agree: the closed activation region makes the associated score directions vanish. For a fixed-basis KAN, they do not. In the single-layer Gaussian case, the coefficient Fisher matrix is a basis Gram matrix under the input distribution and is independent of the fitted coefficients. In a multilayer KAN, Fisher simplicity is graph-path based: the data must reach a basis atom and its perturbation must propagate through the downstream network. We encode these two conditions in an effective edge measure and, under local dictionary independence and effective-measure nondegeneracy, show that zero effective exposure exactly identifies Fisher-null directions within an edge. Controlled diagnostics confirm that zero coefficients can preserve rank while effective path disconnections remove the predicted directions. Coefficient magnitude alone is therefore not a Fisher-based pruning criterion for KANs.
Abstract（参考訳）: Kolmogorov-Arnold Networks (KAN) は、部分的には解釈可能性によって動機付けられている。固定基底KA(英語版)において、これは最小あるいはゼロ基底係数を単純性の証明のように見せかけるが、これは、多層パーセプトロン(MLP)における未使用の計算をデッド整定線形ユニット(ReLU)がマークするのと同様にである。パラメータ方向は、タスク分布の下で摂動が見えないときに正確にフィッシャー単純である。これらの建築的概念とフィッシャー的概念が一致するかを研究する。デッドReLUユニットについては、クローズドアクティベーション領域は、関連するスコア方向を消滅させる。固定基底カンの場合、それらはそうではない。単層ガウスの場合、係数フィッシャー行列は入力分布の基底グラム行列であり、適合係数とは独立である。データは基底原子に到達し、その摂動は下流ネットワークを介して伝播する必要がある。我々はこれらの2つの条件を有効なエッジ尺度でエンコードし、ローカル辞書の独立性と効果的な非退化の下では、有効露出ゼロがエッジ内のフィッシャー・ヌル方向を正確に識別することを示す。制御された診断では、ゼロ係数はランクを保つことができるが、効果的な経路切断は予測された方向を除去する。したがって、係数等級だけでは、Kansに対するフィッシャーベースのプルーニング基準ではない。

関連論文リスト

Loss-Parameterized Fisher Width Along Learning Trajectories [0.0]
まず、固定されたコンパクトプローブに対して、正確なトレース形状の分解と決定論的安定性を導出する。結果はフィッシャー幅の普遍的損失パラメトリゼーションよりも分岐的に支持される。
論文参考訳（メタデータ） (2026-08-21T18:52:04Z)
Layers Matter: Why Continual Learning Regularization Should Be Layer-Adaptive [11.547299731981894]
EWCのような継続的な学習正規化は、従来のタスクパラメータからパラメータ単位の重要度に変化をペナルティ化することで、忘れる。逆ビットフリップ攻撃とヘッセン分光法の研究は、この層ごとの感度の欠如がニューラルネットワークの桁数にまたがっていることを示している。我々はこのレシピをEWCとSLCAに適用し、平均的なパフォーマンスとメトリクスを忘れることの明確な改善を示す。
論文参考訳（メタデータ） (2026-08-16T19:37:38Z)
Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
論文参考訳（メタデータ） (2026-08-10T19:42:01Z)
Fisher Glasses: Tail-Certified Quantum Metrology in Quenched Environments [0.0]
量子気象学的優位性は平均的なフィッシャー応答によって証明される:コントラスト、感受性、量子フィッシャー情報(QFI) 潜伏セッションの認定条件は、曖昧な方向を計画し、達成可能な損失に逆戻りし、その後、再認証する。平均フィッシャー行列、QFI、投影された情報を共有するアンサンブルは、認証精度が有限またはゼロである。
論文参考訳（メタデータ） (2026-07-01T15:40:29Z)
Fisher-Geometric Diffusion in Stochastic Gradient Descent: Optimal Rates, Oracle Complexity, and Information-Theoretic Limits [0.0]
そこで我々は,ミニバッチノイズが本質的,損失誘起行列である勾配降下理論を開発した。我々はフィッシャー双対ノルムにおけるエクシロン定常性に対するオラクル-複素性保証を証明した。
論文参考訳（メタデータ） (2026-03-02T21:57:09Z)
Zero-Direction Probing: A Linear-Algebraic Framework for Deep Analysis of Large-Language-Model Drift [0.8835302263821198]
ZDPは、タスクラベルや出力評価を使わずに、トランスフォーマーアクティベーションの無効方向からモデルドリフトを検出するための理論のみのフレームワークである。非漸近尾境界と濃度不等式を持つスペクトル核漏れ測定値が導出され,ガウスヌルモデルの下でのドリフトに対するa-プリオリしきい値が得られた。
論文参考訳（メタデータ） (2025-08-09T02:05:59Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation [64.92152574895111]
直交ジャコビアン正規化法(OroJaR)を提案する。提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
論文参考訳（メタデータ） (2021-08-17T15:01:46Z)
On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文参考訳（メタデータ） (2021-01-11T19:43:12Z)
SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。冗長フィルタは、異なる特徴の逆数過程において発見できる。提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
論文参考訳（メタデータ） (2020-10-21T03:02:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。