論文の概要: All you need is SAMPAT
- arxiv url: http://arxiv.org/abs/2607.09235v1
- Date: Fri, 10 Jul 2026 09:31:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-13 14:47:12.816371
- Title: All you need is SAMPAT
- Title(参考訳): 必要なのはSAMPATだけです。
- Abstract要約: 解釈可能性(interpretability)は、実験データを分析しながら洞察を引き出す上で重要である。
連続的かつ至るところで微分可能な関数を確実に学習できる3層ニューラルネットワーク、SAMPATを提案する。
合成およびベンチマークデータセットの実験は、SAMPATがより単純な表現で競合性能を得ることを示している。
- 参考スコア(独自算出の注目度): 4.978871870250063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The current state of the art in AI/ML rests on deep neural architectures, which, in general, suffer from a lack of interpretability. Interpretability is crucial to gleaning insights while analyzing experimental data, where quantitative predictions may not be adequate for a scientist. We present a three layer neural architecture, SAMPAT (Smooth Approximation via Multivariate Polynomials and Analytic Transformations), that can provably learn a continuous, everywhere differentiable function, that can approximate any smooth function arbitrarily closely. SAMPAT's approximant can be expressed as a closed and compact algebraic, analytic expression, providing complete interpretability. Experiments on synthetic and benchmark datasets indicate that SAMPAT yields competitive performance with simpler representations. For many tasks, a two layer SAMPAT suffices. By imposing restrictions on the connectivity between neurons, SAMPAT may be used to provide a range of approximants, including regular and trigonometric polynomials, rational expressions, Gaussians, mixtures of Gaussians, as well as arbitrary combinations of the same; without restrictions, it learns a suitable structure. SAMPAT may be used to factorize polynomials and model nonlinear systems. With the addition of skip connections, a 4 to 6 layer SAMPAT is adequate to represent a substantive range of methods widely used in AI/ML, allowing the choice of a model's family, not just its parameters, to also be optimized as part of the learning process.
- Abstract(参考訳): AI/MLの現在の最先端技術は、ディープニューラルネットワークに依存しており、一般的には、解釈可能性の欠如に悩まされている。
解釈可能性(英語版)は、科学者にとって定量的な予測が不十分な実験データを分析しながら洞察を得るのに不可欠である。
SAMPAT(Smooth Approximation via Multivariate Polynomials and Analytic Transformations)は,任意の滑らかな関数を任意に近似できる連続かつどこでも微分可能な関数を確実に学習できる3層ニューラルネットワークである。
SAMPATの近似は閉かつコンパクトな代数的解析的表現として表現することができ、完全に解釈可能である。
合成およびベンチマークデータセットの実験は、SAMPATがより単純な表現で競合性能を得ることを示している。
多くのタスクにおいて、2つのレイヤ SAMPAT が十分である。
ニューロン間の接続性に関する制限を課すことにより、SAMPATは正規および三角多項式、有理表現、ガウス、ガウスの混合、およびそれと同じ任意の組み合わせを含む様々な近似体を提供するのに用いられる。
SAMPATは多項式を分解し、非線形システムをモデル化するために用いられる。
スキップ接続の追加により、4層から6層までのSAMPATはAI/MLで広く使われているメソッドの実体範囲を表現するのに適しており、モデルファミリーの選択はパラメータだけでなく、学習プロセスの一部として最適化される。
関連論文リスト
- SUPN: Shallow Universal Polynomial Networks [2.817874121826956]
ディープニューラルネットワーク(DNN)とコルモゴロフ・アルノルドネットワーク(KAN)は関数近似の一般的な方法である。
そこで我々は,適切な近似を生成するために,浅い普遍ネットワーク (SUPN) を提案する。
SUPNsは、同じ次数の最適近似と同じ速度で収束することを示す。
論文 参考訳(メタデータ) (2025-11-26T14:06:42Z) - Beyond Softmax: A Natural Parameterization for Categorical Random Variables [61.709831225296305]
階層的なバイナリ分割のシーケンスで構成される関数である$textitcatnat$関数を紹介します。
実験により,提案した関数は学習効率を向上し,一貫した試験性能を特徴とするモデルが得られることを示した。
論文 参考訳(メタデータ) (2025-09-29T12:55:50Z) - Conditional Distribution Quantization in Machine Learning [83.54039134248231]
条件予測 mathbbE(Y Mid X) はしばしば、マルチモーダル条件分布の複雑さを捉えることに失敗する(Y Mid X)
我々はn点条件量子化(n-point Conditional Quantizations)-勾配降下により学習可能なXの関数写像--近似数学L(Y mid X)-を提案する。
論文 参考訳(メタデータ) (2025-02-11T00:28:24Z) - Polynomial-Time Solutions for ReLU Network Training: A Complexity
Classification via Max-Cut and Zonotopes [70.52097560486683]
我々は、ReLUネットワークの近似の難しさがマックス・カッツ問題の複雑さを反映しているだけでなく、特定の場合において、それと完全に一致することを証明した。
特に、$epsilonleqsqrt84/83-1approx 0.006$とすると、目的値に関して相対誤差$epsilon$でReLUネットワーク対象の近似グローバルデータセットを見つけることはNPハードであることが示される。
論文 参考訳(メタデータ) (2023-11-18T04:41:07Z) - Memorization With Neural Nets: Going Beyond the Worst Case [5.03863830033243]
実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。
本稿では、3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを提案する。
サンプル数に依存しない保証を得るため、最悪の記憶能力限界を超えて移動します。
論文 参考訳(メタデータ) (2023-09-30T10:06:05Z) - Bagged Polynomial Regression and Neural Networks [0.0]
時系列とデータセットの回帰は、ニューラルネットワークと同じ関数クラスを近似することができる。
textitbagged regression (BPR)は、ニューラルネットワークの魅力的な代替品である。
BPRは、衛星データを用いた作物分類において、ニューラルネットワークと同様に機能する。
論文 参考訳(メタデータ) (2022-05-17T19:55:56Z) - SPINE: Soft Piecewise Interpretable Neural Equations [0.0]
完全に接続されたネットワークはユビキタスだが解釈不能である。
本論文は,個々の部品に設定操作を施すことにより,ピースワイズに新しいアプローチを採っている(一部)。
完全に接続されたレイヤを解釈可能なレイヤに置き換えなければならない、さまざまなアプリケーションを見つけることができる。
論文 参考訳(メタデータ) (2021-11-20T16:18:00Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - Statistically Meaningful Approximation: a Case Study on Approximating
Turing Machines with Transformers [50.85524803885483]
本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。
回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
論文 参考訳(メタデータ) (2021-07-28T04:28:55Z) - SURF: A Simple, Universal, Robust, Fast Distribution Learning Algorithm [64.13217062232874]
SURFは分布を断片的に近似するアルゴリズムである。
実験では最先端のアルゴリズムよりも優れています。
論文 参考訳(メタデータ) (2020-02-22T01:03:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。