論文の概要: Nonparametric Teaching of Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2405.10531v1
• Date: Fri, 17 May 2024 04:20:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 17:02:02.183664
• Title: Nonparametric Teaching of Implicit Neural Representations
• Title（参考訳）: 入射神経表現の非パラメトリック指導
• Authors: Chen Zhang, Steven Tin Sui Luo, Jason Chun Lok Li, Yik-Chung Wu, Ngai Wong,
• Abstract要約: オーバーパラメトリック化された多層パーセプトロンは、非パラメトリック学習者の教育と整合性を示す。 この新たな発見により、非パラメトリック学習アルゴリズムの便利なドロップインにより、INRトレーニングの効率が広く向上し、様々な入力モードで30%以上のトレーニング時間を節約できる。
• 参考スコア（独自算出の注目度）: 21.313485818701434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the learning of implicit neural representation (INR) using an overparameterized multilayer perceptron (MLP) via a novel nonparametric teaching perspective. The latter offers an efficient example selection framework for teaching nonparametrically defined (viz. non-closed-form) target functions, such as image functions defined by 2D grids of pixels. To address the costly training of INRs, we propose a paradigm called Implicit Neural Teaching (INT) that treats INR learning as a nonparametric teaching problem, where the given signal being fitted serves as the target function. The teacher then selects signal fragments for iterative training of the MLP to achieve fast convergence. By establishing a connection between MLP evolution through parameter-based gradient descent and that of function evolution through functional gradient descent in nonparametric teaching, we show for the first time that teaching an overparameterized MLP is consistent with teaching a nonparametric learner. This new discovery readily permits a convenient drop-in of nonparametric teaching algorithms to broadly enhance INR training efficiency, demonstrating 30%+ training time savings across various input modalities.
• Abstract（参考訳）: 過パラメータ化多層パーセプトロン(MLP)を用いた暗黙的神経表現(INR)の学習について,新しい非パラメトリック教育の観点から検討した。 後者は、画素の2Dグリッドで定義される画像関数など、非パラメトリック的(つまり非閉形式)なターゲット関数を教えるための効率的な例選択フレームワークを提供する。 本稿では,INR 学習を非パラメトリックな教育問題として扱う Inlicit Neural Teaching (INT) というパラダイムを提案する。 その後、教師はMLPの反復的な訓練のために信号フラグメントを選択し、迅速に収束する。 非パラメトリック教育におけるパラメータベースの勾配勾配によるMLPの進化と機能的勾配勾配による関数進化の関連性を確立することで、過度パラメータ化されたMLPを教えることは非パラメトリック学習者を教えることと一致していることを示す。 この新たな発見により、簡便な非パラメトリック学習アルゴリズムのドロップインにより、INRトレーニングの効率が広く向上し、様々な入力モードで30%以上のトレーニング時間を節約できる。

関連論文リスト

• Attention Beats Linear for Fast Implicit Neural Representation Generation [13.203243059083533]
  本稿では,局所的注意層(LAL)と大域的表現ベクトルからなる注意型局所INR(ANR)を提案する。 インスタンス固有の表現とインスタンスに依存しないANRパラメータにより、ターゲット信号は連続関数として十分に再構成される。
  論文  参考訳（メタデータ） (2024-07-22T03:52:18Z)
• Improved Implicit Neural Representation with Fourier Reparameterized Training [21.93903328906775]
  Inlicit Neural Representation (INR)は、近年様々なコンピュータビジョンタスクにおいて、強力な表現パラダイムとして成功している。 既存の手法では、INRの精度を向上させるため、位置符号化や周期的アクティベーション関数といった高度な手法が研究されている。
  論文  参考訳（メタデータ） (2024-01-15T00:40:41Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
  ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。 我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。 実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T05:07:19Z)
• Memory Efficient Patch-based Training for INR-based GANs [13.19626131847784]
  既存のアプローチの訓練には、画像解像度に比例した計算コストが要求される。 我々は、INRベースのGANを柔軟な計算コストでトレーニングできる、新しいスケーラブルなアプローチであるマルチステージパッチベースのトレーニングを提案する。 具体的には、パッチを用いて画像の局所的な詳細を学習し、グローバルな構造情報を学習することを可能にする。
  論文  参考訳（メタデータ） (2022-07-04T13:28:53Z)
• Meta-Learning Sparse Implicit Neural Representations [69.15490627853629]
  入射神経表現は、一般的な信号を表す新しい道である。 現在のアプローチは、多数の信号やデータセットに対してスケールすることが難しい。 メタ学習型スパースニューラル表現は,高密度メタ学習モデルよりもはるかに少ない損失が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T18:02:53Z)
• Gradient-Free Neural Network Training via Synaptic-Level Reinforcement Learning [0.0]
  学習を実現する特定の脳領域に、一貫性のあるシナプスレベルの学習メカニズムが存在すると広く信じられている。 本稿では,単純なシナプスレベルの学習ポリシーを生成し,適用するための強化学習に基づくアルゴリズムを提案する。 勾配への頑丈さと依存の欠如は、困難で微分の難しいニューラルネットワークを訓練するための新しいテクニックの扉を開く。
  論文  参考訳（メタデータ） (2021-05-29T22:26:18Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• A Novel Neural Network Training Framework with Data Assimilation [2.948167339160823]
  勾配計算を避けるため,データ同化に基づく勾配なし学習フレームワークを提案する。 その結果,提案手法は勾配法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-10-06T11:12:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。