論文の概要: NTK-Guided Implicit Neural Teaching

• arxiv url: http://arxiv.org/abs/2511.15487v1
• Date: Wed, 19 Nov 2025 14:43:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.85202
• Title: NTK-Guided Implicit Neural Teaching
• Title（参考訳）: NTK-Guided Implicit Neural Teaching
• Authors: Chen Zhang, Wei Zuo, Bingyang Cheng, Yikun Wang, Wei-Bin Kou, Yik Chung WU, Ngai Wong,
• Abstract要約: インプシットニューラル表現(INR)は多層パーセプトロン(MLP)を介して連続信号をパラメータ化する NTK-Guided Implicit Neural Teaching (NINT)を提案する。 NINTはNTK拡張された損失勾配の基準で、適合エラーと不均一レバレッジの両方をキャプチャする。
• 参考スコア（独自算出の注目度）: 30.8213717343444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit Neural Representations (INRs) parameterize continuous signals via multilayer perceptrons (MLPs), enabling compact, resolution-independent modeling for tasks like image, audio, and 3D reconstruction. However, fitting high-resolution signals demands optimizing over millions of coordinates, incurring prohibitive computational costs. To address it, we propose NTK-Guided Implicit Neural Teaching (NINT), which accelerates training by dynamically selecting coordinates that maximize global functional updates. Leveraging the Neural Tangent Kernel (NTK), NINT scores examples by the norm of their NTK-augmented loss gradients, capturing both fitting errors and heterogeneous leverage (self-influence and cross-coordinate coupling). This dual consideration enables faster convergence compared to existing methods. Through extensive experiments, we demonstrate that NINT significantly reduces training time by nearly half while maintaining or improving representation quality, establishing state-of-the-art acceleration among recent sampling-based strategies.
• Abstract（参考訳）: Inlicit Neural Representations (INR)は、マルチ層パーセプトロン(MLP)を介して連続信号をパラメータ化し、画像、オーディオ、三次元再構成といったタスクのコンパクトで解像度に依存しないモデリングを可能にする。 しかし、高分解能信号の適合は数百万の座標を最適化することを要求し、計算コストは不当である。 そこで我々はNTK-Guided Implicit Neural Teaching (NINT)を提案し,グローバルな機能更新を最大化する座標を動的に選択することでトレーニングを加速する。 ニューラルタンジェントカーネル(NTK)を活用して、NINTはNTKの拡張された損失勾配のノルムによって、適合エラーとヘテロジニアスレバレッジ(自己影響とクロスコーディネート結合)の両方をキャプチャする。 この2つの考察は、既存の方法と比較してより高速な収束を可能にする。 広範にわたる実験により,NINTは,最近のサンプリングベース戦略において,表現品質を維持したり改善したりしながら,トレーニング時間を半減することを示した。

関連論文リスト

• SL$^{2}$A-INR: Single-Layer Learnable Activation for Implicit Neural Representation [10.079590259767306]
  Inlicit Neural Representation (INR)は、ニューラルネットワークを利用して、座標入力を対応する属性に変換することで、視覚関連領域において大きな進歩をもたらした。 我々は,INRアーキテクチャに新しいアプローチを導入することで,これらの課題を緩和できることを示す。 具体的には,シングルレイヤの学習可能なアクティベーション関数と従来のReLUアクティベーションを用いた合成を組み合わせたハイブリッドネットワークSL$2$A-INRを提案する。
  論文  参考訳（メタデータ） (2024-09-17T02:02:15Z)
• Synergistic Integration of Coordinate Network and Tensorial Feature for Improving Neural Radiance Fields from Sparse Inputs [26.901819636977912]
  本稿では,低周波信号に対する強いバイアスで知られる座標ネットワークと多面表現を統合する手法を提案する。 提案手法は,スパース入力を持つ静的および動的NeRFのベースラインモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-13T15:42:46Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。