論文の概要: Weights initialization of neural networks for function approximation

• arxiv url: http://arxiv.org/abs/2510.08780v1
• Date: Thu, 09 Oct 2025 19:56:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:47.694392
• Title: Weights initialization of neural networks for function approximation
• Title（参考訳）: 関数近似のためのニューラルネットワークの重み初期化
• Authors: Xinwen Hu, Yunqing Huang, Nianyu Yi, Peimeng Yin,
• Abstract要約: ニューラルネットワークに基づく関数近似は、科学計算と機械学習の発展に重要な役割を果たしている。 基本関数事前学習に基づく再利用可能なフレームワークを提案する。 このアプローチでは、ベースニューラルネットワークはまず、参照ドメイン上の構造対応の族を近似するように訓練される。 学習したパラメータは、より複雑なターゲット関数のためのネットワークの初期化に使用される。
• 参考スコア（独自算出の注目度）: 0.9099663022952497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network-based function approximation plays a pivotal role in the advancement of scientific computing and machine learning. Yet, training such models faces several challenges: (i) each target function often requires training a new model from scratch; (ii) performance is highly sensitive to architectural and hyperparameter choices; and (iii) models frequently generalize poorly beyond the training domain. To overcome these challenges, we propose a reusable initialization framework based on basis function pretraining. In this approach, basis neural networks are first trained to approximate families of polynomials on a reference domain. Their learned parameters are then used to initialize networks for more complex target functions. To enhance adaptability across arbitrary domains, we further introduce a domain mapping mechanism that transforms inputs into the reference domain, thereby preserving structural correspondence with the pretrained models. Extensive numerical experiments in one- and two-dimensional settings demonstrate substantial improvements in training efficiency, generalization, and model transferability, highlighting the promise of initialization-based strategies for scalable and modular neural function approximation. The full code is made publicly available on Gitee.
• Abstract（参考訳）: ニューラルネットワークに基づく関数近似は、科学計算と機械学習の発展に重要な役割を果たしている。 しかし、そのようなモデルのトレーニングにはいくつかの課題がある。 (i)各対象関数は、しばしば、スクラッチから新しいモデルを訓練する必要がある。 (二)性能は、建築及びハイパーパラメータの選択に非常に敏感である。 (三)モデルは、訓練領域を超えてよく一般化する。 これらの課題を克服するために,基本関数事前学習に基づく再利用可能な初期化フレームワークを提案する。 このアプローチでは、基底ニューラルネットワークは、まず基準領域上の多項式の族を近似するように訓練される。 学習したパラメータは、より複雑なターゲット関数のためのネットワークの初期化に使用される。 さらに、任意の領域間の適応性を高めるために、入力を参照領域に変換するドメインマッピング機構を導入し、事前訓練されたモデルと構造的対応を保つ。 1次元と2次元の設定における大規模な数値実験は、トレーニング効率、一般化、モデル伝達性を大幅に改善し、スケーラブルでモジュラーなニューラルファンクション近似に対する初期化に基づく戦略の約束を強調している。 完全なコードはGiteeで公開されている。

関連論文リスト

• Function regression using the forward forward training and inferring paradigm [0.0]
  フォワードフォワード学習アルゴリズムは、バックプロパゲーションなしでニューラルネットワークをトレーニングするための新しいアプローチである。 本稿では,Forward-Forwardアルゴリズムを用いて関数の近似(関数回帰)を行う手法を提案する。
  論文  参考訳（メタデータ） (2025-10-08T08:41:14Z)
• Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [55.914891182214475]
  モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。 本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。 残る技術的課題や倫理的考察も分析する。
  論文  参考訳（メタデータ） (2025-06-05T05:42:27Z)
• Compelling ReLU Networks to Exhibit Exponentially Many Linear Regions at Initialization and During Training [1.7205106391379021]
  ReLUアクティベートされたニューラルネットワークでは、出力中の断片的線形領域の数は、深さとともに指数関数的に増加する。 深度のパラメータ化を新たに導入し,さらに多次元的な学習手法を提案する。
  論文  参考訳（メタデータ） (2023-11-29T19:09:48Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Composable Function-preserving Expansions for Transformer Architectures [2.579908688646812]
  最先端のニューラルネットワークのトレーニングには、計算と時間の面で高いコストが必要となる。 本稿では,変圧器ベースニューラルネットワークのサイズを漸進的に増加させるために,構成可能な6つの変換を提案する。
  論文  参考訳（メタデータ） (2023-08-11T12:27:22Z)
• Learning to Augment via Implicit Differentiation for Domain Generalization [107.9666735637355]
  ドメイン一般化(DG)は、複数のソースドメインを活用してドメイン一般化可能なモデルを学ぶことで、この問題を克服することを目的としている。 本稿では,AugLearnと呼ばれる新しい拡張型DG手法を提案する。 AugLearnは、PACS、Office-Home、Digits-DGの3つの標準DGベンチマークで効果を示す。
  論文  参考訳（メタデータ） (2022-10-25T18:51:51Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。