論文の概要: Convergence and Sketching-Based Efficient Computation of Neural Tangent Kernel Weights in Physics-Based Loss

• arxiv url: http://arxiv.org/abs/2511.15530v1
• Date: Wed, 19 Nov 2025 15:29:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.869739
• Title: Convergence and Sketching-Based Efficient Computation of Neural Tangent Kernel Weights in Physics-Based Loss
• Title（参考訳）: 物理学に基づく損失におけるニューラルネットワークカーネル重みの収束とスケッチに基づく効率的な計算法
• Authors: Max Hirsch, Federico Pichi,
• Abstract要約: 適応的 NTK 重みによる勾配勾配の上昇は,適切な意味で収束することを示す。 次に,予測器-相関器アプローチと行列スケッチに着想を得たランダム化アルゴリズムを開発することにより,計算効率の問題に対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In multi-objective optimization, multiple loss terms are weighted and added together to form a single objective. These weights are chosen to properly balance the competing losses according to some meta-goal. For example, in physics-informed neural networks (PINNs), these weights are often adaptively chosen to improve the network's generalization error. A popular choice of adaptive weights is based on the neural tangent kernel (NTK) of the PINN, which describes the evolution of the network in predictor space during training. The convergence of such an adaptive weighting algorithm is not clear a priori. Moreover, these NTK-based weights would be updated frequently during training, further increasing the computational burden of the learning process. In this paper, we prove that under appropriate conditions, gradient descent enhanced with adaptive NTK-based weights is convergent in a suitable sense. We then address the problem of computational efficiency by developing a randomized algorithm inspired by a predictor-corrector approach and matrix sketching, which produces unbiased estimates of the NTK up to an arbitrarily small discretization error. Finally, we provide numerical experiments to support our theoretical findings and to show the efficacy of our randomized algorithm. Code Availability: https://github.com/maxhirsch/Efficient-NTK
• Abstract（参考訳）: 多目的最適化では、複数の損失項を重み付けして加算して単一の目的とする。 これらの重みは、いくつかのメタゴールに従って競合する損失を適切にバランスさせるために選択される。 例えば、物理学情報ニューラルネットワーク(PINN)では、これらの重み付けはネットワークの一般化誤差を改善するために適応的に選択されることが多い。 適応重みの一般的な選択は、トレーニング中の予測空間におけるネットワークの進化を記述するPINNのニューラルタンジェントカーネル(NTK)に基づいている。 このような適応重み付けアルゴリズムの収束は、事前の明確さではない。 さらに、これらのNTKベースの重みはトレーニング中に頻繁に更新され、学習プロセスの計算負担が増大する。 本稿では,適切な条件下では,適応的NTKに基づく重み付き勾配勾配が適切な意味で収束していることを証明する。 次に,予測コレクタアプローチと行列スケッチにインスパイアされたランダム化アルゴリズムを開発し,NTKの偏りのない推定値を任意に小さな離散化誤差まで生成することで,計算効率の問題に対処する。 最後に,我々の理論的研究を支援する数値実験を行い,ランダム化アルゴリズムの有効性を示す。 コードアベイラビリティ:https://github.com/maxhirsch/Efficient-NTK

関連論文リスト

• Convolution-weighting method for the physics-informed neural network: A Primal-Dual Optimization Perspective [14.65008276932511]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く用いられている PINNは一般に有限個の点を用いて最適化され、収束と精度を保証する上で大きな課題となる。 そこで本稿では, 減量関数に対する重み付けを, 孤立点から連続近傍領域への適応的に変更する手法を提案する。
  論文  参考訳（メタデータ） (2025-06-24T17:13:51Z)
• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Equivariant Deep Weight Space Alignment [54.65847470115314]
  本稿では,ウェイトアライメント問題を解決するための学習を目的とした新しいフレームワークを提案する。 まず、重み調整が2つの基本対称性に一致することを証明し、それからこれらの対称性を尊重する深いアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-10-20T10:12:06Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Where Should We Begin? A Low-Level Exploration of Weight Initialization Impact on Quantized Behaviour of Deep Neural Networks [93.4221402881609]
  異なる重みの初期化が重みの最終的な分布と異なるCNNアーキテクチャの活性化に与える影響について、詳細なアブレーション研究を行う。 我々の知る限りでは、ウェイトの初期化とその量子化行動に対する影響について、そのような低レベルで詳細な定量分析を行うのは、私たちは初めてである。
  論文  参考訳（メタデータ） (2020-11-30T06:54:28Z)
• Self-Adaptive Physics-Informed Neural Networks using a Soft Attention Mechanism [1.6114012813668932]
  非線形偏微分方程式(PDE)の数値解に対するディープニューラルネットワークの有望な応用として、物理情報ニューラルネットワーク(PINN)が登場した。 そこで本研究では,PINNを適応的にトレーニングする方法として,適応重みを完全にトレーニング可能とし,各トレーニングポイントに個別に適用する手法を提案する。 線形および非線形のベンチマーク問題による数値実験では、SA-PINNはL2エラーにおいて他の最先端のPINNアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-09-07T04:07:52Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。