論文の概要: Inductive Gradient Adjustment For Spectral Bias In Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2410.13271v1
• Date: Thu, 17 Oct 2024 06:51:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:20:58.896465
• Title: Inductive Gradient Adjustment For Spectral Bias In Implicit Neural Representations
• Title（参考訳）: 入射神経表現におけるスペクトルバイアスの誘導的勾配調整
• Authors: Kexuan Shi, Hai Chen, Leheng Zhang, Shuhang Gu,
• Abstract要約: Inlicit Neural Representations (INR)は様々なコンピュータタスクで成功している。 バニラ多層パーセプトロン(MLP)のスペクトルバイアスのため、既存の手法は高度なアーキテクチャを使った設計や、高精度なINRのためのトレーニング技術の再開発に重点を置いている。 本稿では,eNTKに基づく勾配変換行列の帰納的一般化により,スペクトルバイアスを意図的に改善する実用的な勾配調整法を提案する。
• 参考スコア（独自算出の注目度）: 17.832898905413877
• License:
• Abstract: Implicit Neural Representations (INRs), as a versatile representation paradigm, have achieved success in various computer vision tasks. Due to the spectral bias of the vanilla multi-layer perceptrons (MLPs), existing methods focus on designing MLPs with sophisticated architectures or repurposing training techniques for highly accurate INRs. In this paper, we delve into the linear dynamics model of MLPs and theoretically identify the empirical Neural Tangent Kernel (eNTK) matrix as a reliable link between spectral bias and training dynamics. Based on eNTK matrix, we propose a practical inductive gradient adjustment method, which could purposefully improve the spectral bias via inductive generalization of eNTK-based gradient transformation matrix. We evaluate our method on different INRs tasks with various INR architectures and compare to existing training techniques. The superior representation performance clearly validates the advantage of our proposed method. Armed with our gradient adjustment method, better INRs with more enhanced texture details and sharpened edges can be learned from data by tailored improvements on spectral bias.
• Abstract（参考訳）: Inlicit Neural Representations (INR)は多目的表現パラダイムであり、様々なコンピュータビジョンタスクで成功している。 バニラ多層パーセプトロン(MLP)のスペクトルバイアスのため、既存の手法は高度なアーキテクチャでMLPを設計したり、高精度なINRのためのトレーニング技術を再開発することに焦点を当てている。 本稿では,MLPの線形力学モデルについて検討し,経験的ニューラルタンジェントカーネル(eNTK)行列をスペクトルバイアスとトレーニング力学の信頼性のあるリンクとして理論的に同定する。 eNTK行列に基づいて,eNTKに基づく勾配変換行列の帰納的一般化により,スペクトルバイアスを意図的に改善する実用的な勾配調整法を提案する。 各種INRアーキテクチャを用いたINRタスクの評価を行い,既存のトレーニング手法と比較した。 優れた表現性能は,提案手法の利点を明確に証明する。 我々の勾配調整法を応用して、より高度なテクスチャディテールと鋭くしたエッジを持つ優れたINRを、スペクトルバイアスの調整によるデータから学習することができる。

関連論文リスト

• Approaching Deep Learning through the Spectral Dynamics of Weights [41.948042468042374]
  重みのスペクトル力学 -- 最適化中の特異値とベクトルの振る舞い -- は、ディープラーニングにおけるいくつかの現象を明確にし、統一する。 ConvNetによる画像分類,UNetsによる画像生成,LSTMによる音声認識,Transformersによる言語モデリングなど,さまざまな実験における最適化における一貫したバイアスを同定する。
  論文  参考訳（メタデータ） (2024-08-21T17:48:01Z)
• Spectral Adapter: Fine-Tuning in Spectral Space [45.72323731094864]
  本研究では, 既訓練重量行列のスペクトル情報を微調整手順に組み込むことにより, 現在のPEFT法の強化について検討した。 提案するファインチューニングモデルにより,パラメータ効率とチューニング性能が向上し,マルチアダプタ融合のメリットが期待できることを示す。
  論文  参考訳（メタデータ） (2024-05-22T19:36:55Z)
• Improved Implicit Neural Representation with Fourier Reparameterized Training [21.93903328906775]
  Inlicit Neural Representation (INR)は、近年様々なコンピュータビジョンタスクにおいて、強力な表現パラダイムとして成功している。 既存の手法では、INRの精度を向上させるため、位置符号化や周期的アクティベーション関数といった高度な手法が研究されている。
  論文  参考訳（メタデータ） (2024-01-15T00:40:41Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Supernova Light Curves Approximation based on Neural Network Models [53.180678723280145]
  光度データによる超新星の分類は、天文学におけるビッグデータのリアルタイム処理の出現によって課題となる。 近年の研究では、様々な機械学習モデルに基づく解の優れた品質が実証されている。 我々は,多層パーセプトロン(MLP),ベイジアンニューラルネットワーク(BNN),正規化フロー(NF)の単一光曲線観測への応用について検討した。
  論文  参考訳（メタデータ） (2022-06-27T13:46:51Z)
• Accelerated MRI With Deep Linear Convolutional Transform Learning [7.927206441149002]
  近年の研究では、深層学習に基づくMRI再構成は、従来の手法よりも複数の応用において優れていることが示されている。 本研究では, CS, TL, DL再構成のアイデアを組み合わせて, 深い線形畳み込み変換を学習する。 提案手法は,均一なアンダーサンプリングパターンをサポートしながら,DL法に匹敵するレベルのMR画像を再構成可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-17T04:47:32Z)
• Tensor Normal Training for Deep Learning Models [10.175972095073282]
  我々は,新しい近似的自然勾配法,Normal Trainingを提案し,解析する。 実験では、TNTは1次法よりも優れた最適化性能を示した。
  論文  参考訳（メタデータ） (2021-06-05T15:57:22Z)
• Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
  重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。 分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
  論文  参考訳（メタデータ） (2021-03-07T00:15:44Z)
• Reintroducing Straight-Through Estimators as Principled Methods for Stochastic Binary Networks [85.94999581306827]
  2重みとアクティベーションを持つニューラルネットワークのトレーニングは、勾配の欠如と離散重みよりも最適化が難しいため、難しい問題である。 多くの実験結果が経験的ストレートスルー(ST)アプローチで達成されている。 同時に、ST法はベルヌーイ重みを持つバイナリネットワーク(SBN)モデルにおける推定子として真に導出することができる。
  論文  参考訳（メタデータ） (2020-06-11T23:58:18Z)
• Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
  本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。 我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
  論文  参考訳（メタデータ） (2020-03-11T13:15:57Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。