Fugu-MT 論文翻訳(概要): Deep Learning Alternatives of the Kolmogorov Superposition Theorem

論文の概要: Deep Learning Alternatives of the Kolmogorov Superposition Theorem

arxiv url: http://arxiv.org/abs/2410.01990v1
Date: Wed, 2 Oct 2024 19:53:14 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 09:34:57.708015
Title: Deep Learning Alternatives of the Kolmogorov Superposition Theorem
Title（参考訳）: コルモゴロフ重畳定理の深層学習法
Authors: Leonardo Ferreira Guilhoto, Paris Perdikaris,
Abstract要約: 本稿では,ニューラルネットワーク設計の基礎となるKST(Kolmogorov Superposition Theorem)の定式化について検討する。我々は、KST上に構築されたスケーラブルなディープラーニングモデルであるActNetを紹介し、Kolmogorov氏のオリジナルの定式化の欠点の多くを克服する。
参考スコア（独自算出の注目度）: 4.1764890353794994
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This paper explores alternative formulations of the Kolmogorov Superposition Theorem (KST) as a foundation for neural network design. The original KST formulation, while mathematically elegant, presents practical challenges due to its limited insight into the structure of inner and outer functions and the large number of unknown variables it introduces. Kolmogorov-Arnold Networks (KANs) leverage KST for function approximation, but they have faced scrutiny due to mixed results compared to traditional multilayer perceptrons (MLPs) and practical limitations imposed by the original KST formulation. To address these issues, we introduce ActNet, a scalable deep learning model that builds on the KST and overcomes many of the drawbacks of Kolmogorov's original formulation. We evaluate ActNet in the context of Physics-Informed Neural Networks (PINNs), a framework well-suited for leveraging KST's strengths in low-dimensional function approximation, particularly for simulating partial differential equations (PDEs). In this challenging setting, where models must learn latent functions without direct measurements, ActNet consistently outperforms KANs across multiple benchmarks and is competitive against the current best MLP-based approaches. These results present ActNet as a promising new direction for KST-based deep learning applications, particularly in scientific computing and PDE simulation tasks.
Abstract（参考訳）: 本稿では,ニューラルネットワーク設計の基礎となるKST(Kolmogorov Superposition Theorem)の定式化について検討する。元の KST の定式化は数学的にはエレガントであるが、内部関数と外部関数の構造とそれが導入する未知の変数の多さに対する限られた洞察から、実際的な課題を提示する。 Kolmogorov-Arnold Networks (KANs) は関数近似にKSTを利用するが、従来の多層パーセプトロン (MLPs) と元のKSTの定式化によって課される実用的制約との混合結果により、精査されている。このような問題に対処するため、KST上に構築されたスケーラブルなディープラーニングモデルであるActNetを導入し、Kolmogorov氏のオリジナルの定式化の欠点の多くを克服する。我々は、低次元関数近似におけるKSTの強み、特に偏微分方程式(PDE)のシミュレートに好適なフレームワークである、物理情報ニューラルネットワーク(PINN)の文脈でActNetを評価する。この難しい設定では、モデルが直接測定なしで遅延関数を学習しなければならないため、ActNetは複数のベンチマークでKANを一貫して上回り、現在の最高のMLPベースのアプローチと競合する。これらの結果は、特に科学計算やPDEシミュレーションタスクにおいて、KSTベースのディープラーニングアプリケーションのための有望な新しい方向性としてActNetを提示する。

関連論文リスト

Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-07-24T09:30:04Z)
Bayesian Entropy Neural Networks for Physics-Aware Prediction [14.705526856205454]
本稿では,ベイズニューラルネットワーク(BNN)の予測に制約を加えるためのフレームワークであるBENNを紹介する。ベンは予測値だけでなく、その微分や分散を制約し、より堅牢で信頼性の高いモデル出力を保証できる。その結果、従来のBNNよりも大幅に改善され、現代の制約されたディープラーニング手法と比較して競争性能が向上した。
論文参考訳（メタデータ） (2024-07-01T07:00:44Z)
Active Learning with Fully Bayesian Neural Networks for Discontinuous and Nonstationary Data [0.0]
我々は,「小さなデータ」体制下でのアクティブな学習タスクに対して,完全ベイズニューラルネットワーク(FBNN)を導入する。 FBNNは信頼性の高い予測分布を提供し、アクティブな学習環境における不確実性の下で情報的意思決定に不可欠である。そこで我々は,FBNNの「小型データ」システムにおけるアクティブな学習課題に対するNo-U-Turn Samplerを用いて,FBNNの適合性と性能を評価する。
論文参考訳（メタデータ） (2024-05-16T05:20:47Z)
Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
論文参考訳（メタデータ） (2023-10-28T06:41:47Z)
Fantastic Weights and How to Find Them: Where to Prune in Dynamic Sparse Training [58.47622737624532]
本研究では,プルーニング基準が動的スパーストレーニング(DST)性能に及ぼす影響について検討する。その結果,研究手法のほとんどが同様の結果をもたらすことがわかった。最高のパフォーマンスは、最も単純なテクニックであるマグニチュードベースのプルーニングによって主に与えられる。
論文参考訳（メタデータ） (2023-06-21T12:43:55Z)
Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
論文参考訳（メタデータ） (2023-04-27T17:42:24Z)
Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文参考訳（メタデータ） (2022-04-01T03:31:27Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
Training Sparse Neural Network by Constraining Synaptic Weight on Unit Lp Sphere [2.429910016019183]
単位 Lp-球面上のシナプス重みを制約することにより、p で空間を柔軟に制御することができる。このアプローチは、幅広いドメインをカバーするベンチマークデータセットの実験によって検証されます。
論文参考訳（メタデータ） (2021-03-30T01:02:31Z)
Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
論文参考訳（メタデータ） (2020-09-21T16:32:04Z)
A Lagrangian Dual-based Theory-guided Deep Neural Network [0.0]
The Lagrangian dual-based TgNN (TgNN-LD) is proposed to improve the effective of TgNN。実験により、ラグランジアン双対ベースTgNNの優位性が示された。
論文参考訳（メタデータ） (2020-08-24T02:06:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。