論文の概要: Rational ANOVA Networks
- arxiv url: http://arxiv.org/abs/2602.04006v1
- Date: Tue, 03 Feb 2026 20:46:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-05 19:45:11.269819
- Title: Rational ANOVA Networks
- Title(参考訳): 合理化ANOVAネットワーク
- Authors: Jusheng Zhang, Ningyuan Liu, Qinhan Lyu, Jing Yang, Keze Wang,
- Abstract要約: ディープニューラルネットワークは非線形性を固定プリミティブとして扱い、誘導関数クラスに対する解釈可能性と制御の両方を制限する。
本稿では,機能的ANOVA分解とパッド型合理的近似に基づく基礎アーキテクチャであるRational-ANOVA Network (RAN)を提案する。
- 参考スコア(独自算出の注目度): 12.085684184678348
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks typically treat nonlinearities as fixed primitives (e.g., ReLU), limiting both interpretability and the granularity of control over the induced function class. While recent additive models (like KANs) attempt to address this using splines, they often suffer from computational inefficiency and boundary instability. We propose the Rational-ANOVA Network (RAN), a foundational architecture grounded in functional ANOVA decomposition and Padé-style rational approximation. RAN models f(x) as a composition of main effects and sparse pairwise interactions, where each component is parameterized by a stable, learnable rational unit. Crucially, we enforce a strictly positive denominator, which avoids poles and numerical instability while capturing sharp transitions and near-singular behaviors more efficiently than polynomial bases. This ANOVA structure provides an explicit low-order interaction bias for data efficiency and interpretability, while the rational parameterization significantly improves extrapolation. Across controlled function benchmarks and vision classification tasks (e.g., CIFAR-10) under matched parameter and compute budgets, RAN matches or surpasses parameter-matched MLPs and learnable-activation baselines, with better stability and throughput. Code is available at https://github.com/jushengzhang/Rational-ANOVA-Networks.git.
- Abstract(参考訳): ディープニューラルネットワークは通常、非線形性を固定プリミティブ(例えばReLU)として扱い、誘導関数クラスに対する解釈可能性と制御の粒度の両方を制限する。
最近の加法モデル(Kansのような)はスプラインを使ってこの問題に対処しようとするが、計算の非効率性と境界不安定性に悩まされることが多い。
本稿では,機能的ANOVA分解とパデスタイルの有理近似に基づく基礎アーキテクチャであるRational-ANOVA Network (RAN)を提案する。
RANモデル f(x) は主効果と疎対相互作用の合成であり、各成分は安定で学習可能な有理単位によってパラメータ化される。
極と数値不安定を回避しつつ、鋭い遷移とほぼ特異な挙動を多項式基底よりも効率的に捉えながら、厳密な正の分母を強制する。
このANOVA構造は、データ効率と解釈可能性に明確な低次相互作用バイアスを与え、合理的なパラメータ化は外挿を著しく改善する。
パラメータと計算予算の整合の下で、制御された関数ベンチマークと視覚分類タスク(例えばCIFAR-10)全体で、RANはパラメータマッチングされたMLPと学習可能なアクティベーションベースラインにマッチし、安定性とスループットが向上する。
コードはhttps://github.com/jushengzhang/Rational-ANOVA-Networks.gitで公開されている。
関連論文リスト
- Kolmogorov Arnold Networks and Multi-Layer Perceptrons: A Paradigm Shift in Neural Modelling [1.6998720690708842]
Kolmogorov-Arnold Networks(KAN)とMulti-Layer Perceptrons(MLP)の総合的比較分析を行った。
Kansはスプラインベースのアクティベーション機能とグリッドベースの構造を利用し、従来のニューラルネットワークフレームワークと比較して変革的なアプローチを提供する。
本研究は,先進的なインテリジェントシステムにおけるkansの変換能力について述べる。
論文 参考訳(メタデータ) (2026-01-15T16:26:49Z) - Efficiency vs. Fidelity: A Comparative Analysis of Diffusion Probabilistic Models and Flow Matching on Low-Resource Hardware [0.0]
Denoising Diffusion Probabilistic Models (DDPMs) は、生成画像合成における新しい最先端技術を確立した。
本研究では,新たなフローマッチングパラダイムに対するDDPMの比較分析を行った。
論文 参考訳(メタデータ) (2025-11-24T18:19:42Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-04-17T08:32:25Z) - CoRMF: Criticality-Ordered Recurrent Mean Field Ising Solver [4.364088891019632]
我々は、RNNに基づく効率的なIsingモデル解法、Criticality-ordered Recurrent Mean Field (CoRMF)を提案する。
基礎となるIsingグラフの近似木構造を利用することで、新しく得られた臨界度順序は、変動平均場とRNNの統一を可能にする。
CoRFMはデータ/証拠のない自己学習方式でIsing問題を解き、RNNから直接サンプリングすることで推論タスクを実行することができる。
論文 参考訳(メタデータ) (2024-03-05T16:55:06Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳(メタデータ) (2021-06-06T18:05:02Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳(メタデータ) (2020-09-04T20:41:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。