論文の概要: How Learnable Grids Recover Fine Detail in Low Dimensions: A Neural Tangent Kernel Analysis of Multigrid Parametric Encodings

• arxiv url: http://arxiv.org/abs/2504.13412v1
• Date: Fri, 18 Apr 2025 02:18:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 19:41:53.401197
• Title: How Learnable Grids Recover Fine Detail in Low Dimensions: A Neural Tangent Kernel Analysis of Multigrid Parametric Encodings
• Title（参考訳）: 学習可能な格子が低次元の細部をいかに再現するか:マルチグリッドパラメトリック符号化のニューラルタンジェントカーネル解析
• Authors: Samuel Audia, Soheil Feizi, Matthias Zwicker, Dinesh Manocha,
• Abstract要約: フーリエ特徴符号化(FFE)とマルチグリッドパラメトリック符号化(MPE)の2つの手法を比較した。 MPEは低次元マッピングの標準と見なされるが、MPEはそれらを上回り、高解像度で詳細な表現を学習することが多い。 我々は,MPEが学習可能な埋め込みではなく,グリッド構造を通じてネットワークの性能を向上させることを証明した。
• 参考スコア（独自算出の注目度）: 106.3726679697804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks that map between low dimensional spaces are ubiquitous in computer graphics and scientific computing; however, in their naive implementation, they are unable to learn high frequency information. We present a comprehensive analysis comparing the two most common techniques for mitigating this spectral bias: Fourier feature encodings (FFE) and multigrid parametric encodings (MPE). FFEs are seen as the standard for low dimensional mappings, but MPEs often outperform them and learn representations with higher resolution and finer detail. FFE's roots in the Fourier transform, make it susceptible to aliasing if pushed too far, while MPEs, which use a learned grid structure, have no such limitation. To understand the difference in performance, we use the neural tangent kernel (NTK) to evaluate these encodings through the lens of an analogous kernel regression. By finding a lower bound on the smallest eigenvalue of the NTK, we prove that MPEs improve a network's performance through the structure of their grid and not their learnable embedding. This mechanism is fundamentally different from FFEs, which rely solely on their embedding space to improve performance. Results are empirically validated on a 2D image regression task using images taken from 100 synonym sets of ImageNet and 3D implicit surface regression on objects from the Stanford graphics dataset. Using peak signal-to-noise ratio (PSNR) and multiscale structural similarity (MS-SSIM) to evaluate how well fine details are learned, we show that the MPE increases the minimum eigenvalue by 8 orders of magnitude over the baseline and 2 orders of magnitude over the FFE. The increase in spectrum corresponds to a 15 dB (PSNR) / 0.65 (MS-SSIM) increase over baseline and a 12 dB (PSNR) / 0.33 (MS-SSIM) increase over the FFE.
• Abstract（参考訳）: 低次元空間間をマッピングするニューラルネットワークは、コンピュータグラフィックスや科学計算においてユビキタスである。 本稿では,このスペクトルバイアスを緩和する手法として,フーリエ特徴符号化(FFE)とマルチグリッドパラメトリック符号化(MPE)を比較検討する。 FFEは低次元マッピングの標準と見なされるが、MPEはそれらを上回り、高解像度で詳細な表現を学習することが多い。 フーリエ変換におけるFFEの根は、過度に押された場合のエイリアスの影響を受けやすくするが、学習格子構造を用いるMPEにはそのような制限はない。 性能の違いを理解するために、我々は、ニューラル・タンジェント・カーネル(NTK)を用いて、類似したカーネル回帰のレンズを通して、これらのエンコーディングを評価する。 NTKの最小固有値の下位境界を求めることで、MPEはグリッドの構造を通じてネットワークの性能を向上し、学習可能な埋め込みは行わないことを証明した。 このメカニズムは、パフォーマンスを改善するために組み込みスペースのみに依存するFFEと根本的に異なる。 結果は、Stanfordグラフィックデータセットのオブジェクトに対する100の同義語セットと3Dの暗黙的な表面回帰から得られた画像を用いて、2次元画像回帰タスクで実証的に検証される。 ピーク信号対雑音比 (PSNR) とマルチスケール構造類似度 (MS-SSIM) を用いて, MPEはベースライン上の8桁, FFE上の2桁の最小固有値を増加させることを示した。 スペクトルの上昇は、ベースライン上での15dB (PSNR) / 0.65 (MS-SSIM) の増加と、FFE上での12dB (PSNR) / 0.33 (MS-SSIM) の増加に対応する。

関連論文リスト

• F-INR: Functional Tensor Decomposition for Implicit Neural Representations [7.183424522250937]
  Implicit Representation (INR) は、ニューラルネットワークを用いて離散信号を連続的に微分可能な関数に符号化する強力なツールとして登場した。 機能的分解によりINR学習を再構築し,高次元タスクを軽量な軸特化サブネットワークに分割するフレームワークF-INRを提案する。
  論文  参考訳（メタデータ） (2025-03-27T13:51:31Z)
• Implicit Neural Representations with Fourier Kolmogorov-Arnold Networks [4.499833362998488]
  入射神経表現(INR)は、複雑な信号の連続的および分解非依存的な表現を提供するためにニューラルネットワークを使用する。 提案したFKANは、第1層のフーリエ級数としてモデル化された学習可能なアクティベーション関数を用いて、タスク固有の周波数成分を効果的に制御し、学習する。 実験結果から,提案したFKANモデルは,最先端の3つのベースラインスキームよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-09-14T05:53:33Z)
• Chasing Fairness in Graphs: A GNN Architecture Perspective [73.43111851492593]
  グラフニューラルネットワーク(GNN)の統一最適化フレームワーク内で設計されたtextsfFair textsfMessage textsfPassing(FMP)を提案する。 FMPでは、アグリゲーションがまず隣人の情報を活用するために採用され、バイアス軽減ステップにより、人口集団ノードのプレゼンテーションセンタが明示的に統合される。 ノード分類タスクの実験により、提案されたFMPは、実世界の3つのデータセットの公平性と正確性の観点から、いくつかのベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-19T18:00:15Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• FFPN: Fourier Feature Pyramid Network for Ultrasound Image Segmentation [15.011573950064424]
  超音波(US)画像セグメンテーションは多くのシナリオにおいてリアルタイムかつ高精度な解析を必要とする活発な研究領域である。 既存のアプローチは、不適切な輪郭符号化に悩まされるか、エンコードされた結果の有効活用に失敗する可能性がある。 本稿では,Fourier Feature Pyramid Network (FFPN) と呼ばれる新しいFourier-anchor-based DTSフレームワークについて述べる。
  論文  参考訳（メタデータ） (2023-08-26T07:28:09Z)
• Learning strides in convolutional neural networks [34.20666933112202]
  この研究は、学習可能なステップを持つ最初のダウンサンプリング層であるDiffStrideを紹介している。 音声と画像の分類実験は,ソリューションの汎用性と有効性を示す。
  論文  参考訳（メタデータ） (2022-02-03T16:03:36Z)
• Monocular Depth Estimation Using Multi Scale Neural Network And Feature Fusion [0.0]
  ネットワークは2つの異なるブロックを使用し、まず、各特徴マップの畳み込みとマージに異なるフィルタサイズを使用する。 第2ブロックは、完全に連結された層の代わりに拡張畳み込みを使用し、計算を減らし、受容場を増大させる。 我々は、RMSE損失とSILog損失からなる深さ推定のための標準評価指標を用いて、Make 3Dデータセット、NYU Depth V2データセット、Kittiデータセットでネットワークをトレーニングし、テストする。
  論文  参考訳（メタデータ） (2020-09-11T18:08:52Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。