論文の概要: Understanding NTK Variance in Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2512.15169v1
• Date: Wed, 17 Dec 2025 08:06:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-18 17:06:26.894893
• Title: Understanding NTK Variance in Implicit Neural Representations
• Title（参考訳）: 暗黙的ニューラル表現におけるNTK変動の理解
• Authors: Chengguang Ou, Yixin Zhuang,
• Abstract要約: Inlicit Neural Representations (INR) はしばしばゆっくりと収束し、スペクトルバイアスによる高周波の詳細の回復に苦慮する。 我々は、NTK固有値の分散を共同で決定するペアの類似度因子とスケーリング項の小さなセットに対する影響を通じて、多くのINR機構が理解可能であることを示す。 我々は、共通INR成分に対する閉形式分散分解を導出し、位置符号化が入力類似性、球面正規化が層単位でのスケーリングによって分散を減少させることを示す。
• 参考スコア（独自算出の注目度）: 1.675857332621569
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Implicit Neural Representations (INRs) often converge slowly and struggle to recover high-frequency details due to spectral bias. While prior work links this behavior to the Neural Tangent Kernel (NTK), how specific architectural choices affect NTK conditioning remains unclear. We show that many INR mechanisms can be understood through their impact on a small set of pairwise similarity factors and scaling terms that jointly determine NTK eigenvalue variance. For standard coordinate MLPs, limited input-feature interactions induce large eigenvalue dispersion and poor conditioning. We derive closed-form variance decompositions for common INR components and show that positional encoding reshapes input similarity, spherical normalization reduces variance via layerwise scaling, and Hadamard modulation introduces additional similarity factors strictly below one, yielding multiplicative variance reduction. This unified view explains how diverse INR architectures mitigate spectral bias by improving NTK conditioning. Experiments across multiple tasks confirm the predicted variance reductions and demonstrate faster, more stable convergence with improved reconstruction quality.
• Abstract（参考訳）: Inlicit Neural Representations (INR) はしばしばゆっくりと収束し、スペクトルバイアスによる高周波の詳細の回復に苦慮する。 以前の研究は、この振る舞いをNeural Tangent Kernel (NTK)に関連付けているが、アーキテクチャ上の選択がNTK条件にどのように影響するかは、まだ不明である。 我々は、NTK固有値の分散を共同で決定するペアの類似度因子とスケーリング項の小さなセットに対する影響を通じて、多くのINR機構が理解可能であることを示す。 標準座標 MLP の場合、入力-機能相互作用の制限は大きな固有値分散と条件付けを誘導する。 我々は、共通INR成分に対する閉形式分散分解を導出し、位置符号化が入力類似性、球面正規化が層単位でのスケーリングによって分散を減少させることを示す。 この統一された見解は、多様なINRアーキテクチャがNTK条件の改善によってスペクトルバイアスを緩和するかを説明している。 複数のタスクにわたる実験により予測された分散の低減が確認され、より高速でより安定した収束が示され、再構築品質が向上した。

関連論文リスト

• Robust Convolution Neural ODEs via Contractivity-promoting regularization [8.60855254087051]
  本稿では,動的システムに代表されるニューラルネットワークのロバスト性を改善するために収縮理論を提案する。 システム力学のジャコビアンを含む正規化項を用いることで、訓練中に収縮性を誘導することができる。 傾斜制限付アクティベーション関数を持つNODEのクラスに対して、慎重に選択された重み正規化項を用いて、これを促進できることを示す。
  論文  参考訳（メタデータ） (2025-08-15T12:18:44Z)
• Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• Few-shot Implicit Function Generation via Equivariance [70.99528758223401]
  Inlicit Neural Representations (INR) は、連続的な信号を表現するための強力なフレームワークとして登場した。 インプリシット関数生成は、いくつかの例から多様だが機能的に一貫したINR重みを生成することを目的としている。 限られたデータから新しいINRを生成するフレームワークであるEquiGenを提案する。
  論文  参考訳（メタデータ） (2025-01-03T02:23:55Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Causality Pursuit from Heterogeneous Environments via Neural Adversarial Invariance Learning [12.947265104477237]
  データから因果関係を抽出することは、科学的発見、治療介入、伝達学習における根本的な問題である。 本稿では,複数の環境における回帰モデルにおける非パラメトリック不変性と因果学習に対処するアルゴリズムを提案する。 提案したFocused Adrial Invariant Regularizationフレームワークは、逆検定により回帰モデルを予測不変解へ向ける革新的なミニマックス最適化手法を利用する。
  論文  参考訳（メタデータ） (2024-05-07T23:37:40Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Learning Discretized Neural Networks under Ricci Flow [48.47315844022283]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• DINER: Disorder-Invariant Implicit Neural Representation [33.10256713209207]
  入射神経表現(INR)は、信号の属性を対応する座標の関数として特徴づける。 本稿では、従来のINRバックボーンにハッシュテーブルを付加することにより、障害不変な暗黙的神経表現(DINER)を提案する。
  論文  参考訳（メタデータ） (2022-11-15T03:34:24Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。