論文の概要: A New Perspective To Understanding Multi-resolution Hash Encoding For Neural Fields

• arxiv url: http://arxiv.org/abs/2505.03042v1
• Date: Mon, 05 May 2025 21:53:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.135983
• Title: A New Perspective To Understanding Multi-resolution Hash Encoding For Neural Fields
• Title（参考訳）: ニューラルネットワークのためのマルチレゾリューションハッシュエンコーディングの新しい視点
• Authors: Steven Tin Sui Luo,
• Abstract要約: Instant-NGPは近年、ニューラルネットワークの最先端アーキテクチャである。 このようなハッシュグリッド構造がニューラルネットワークの能力をこれほど大きなマージンで改善する理由と理由は不明である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instant-NGP has been the state-of-the-art architecture of neural fields in recent years. Its incredible signal-fitting capabilities are generally attributed to its multi-resolution hash grid structure and have been used and improved in numerous following works. However, it is unclear how and why such a hash grid structure improves the capabilities of a neural network by such great margins. A lack of principled understanding of the hash grid also implies that the large set of hyperparameters accompanying Instant-NGP could only be tuned empirically without much heuristics. To provide an intuitive explanation of the working principle of the hash grid, we propose a novel perspective, namely domain manipulation. This perspective provides a ground-up explanation of how the feature grid learns the target signal and increases the expressivity of the neural field by artificially creating multiples of pre-existing linear segments. We conducted numerous experiments on carefully constructed 1-dimensional signals to support our claims empirically and aid our illustrations. While our analysis mainly focuses on 1-dimensional signals, we show that the idea is generalizable to higher dimensions.
• Abstract（参考訳）: Instant-NGPは近年、ニューラルネットワークの最先端アーキテクチャである。 その驚くべき信号整合性は、一般的にマルチ解像度のハッシュグリッド構造によるもので、多くの後続の作業で使用および改善されてきた。 しかし、なぜそのようなハッシュグリッド構造がニューラルネットワークの能力をこれほど大きなマージンで改善したのかは、不明である。 ハッシュグリッドの原理的理解の欠如は、Instant-NGPに付随する大きなハイパーパラメータの集合が、多くのヒューリスティックスなしで経験的にのみチューニングできることを意味している。 ハッシュグリッドの動作原理を直感的に説明するために,ドメイン操作という新しい視点を提案する。 この視点は、機能グリッドがターゲット信号をどのように学習し、既存の線形セグメントの複数を人工的に生成することにより、ニューラルネットワークの表現性を高めるか、という基礎的な説明を提供する。 提案手法を実証的に支援し, 図形作成を支援するために, 慎重に構築された1次元信号について多数の実験を行った。 分析は主に1次元の信号に焦点をあてるが、このアイデアは高次元に一般化可能であることを示す。

関連論文リスト

• Theoretical characterisation of the Gauss-Newton conditioning in Neural Networks [5.851101657703105]
  ニューラルネットワークにおけるガウスニュートン行列(GN)の条件付けを理論的に特徴付けるための第一歩を踏み出す。 我々は、任意の深さと幅の深い線形ネットワークにおいて、GNの条件数に厳密な境界を確立する。 残りの接続や畳み込み層といったアーキテクチャコンポーネントに分析を拡張します。
  論文  参考訳（メタデータ） (2024-11-04T14:56:48Z)
• Joint Diffusion Processes as an Inductive Bias in Sheaf Neural Networks [14.224234978509026]
  せん断ニューラルネットワーク(SNN)は自然にグラフニューラルネットワーク(GNN)を拡張する 構造図をより直感的に理解するための2つの新しいせん断学習手法を提案する。 評価では,これまでのSNNで使用されている実世界のベンチマークの限界を示す。
  論文  参考訳（メタデータ） (2024-07-30T07:17:46Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Why Neural Networks Work [0.32228025627337864]
  完全接続型フィードフォワードニューラルネットワーク(FCNN)の多くの特性は、1対の操作の解析から説明可能であると論じる。 文献で論じられた現象がいかに拡大・スパーシフィケーションが説明できるかを示す。
  論文  参考訳（メタデータ） (2022-11-26T18:15:17Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• The Principles of Deep Learning Theory [19.33681537640272]
  この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。 これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。 トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
  論文  参考訳（メタデータ） (2021-06-18T15:00:00Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Probabilistic Graph Attention Network with Conditional Kernels for Pixel-Wise Prediction [158.88345945211185]
  本稿では,画素レベルの予測を基本的側面,すなわち,技術の現状を推し進める新たなアプローチを提案する。 構造化されたマルチスケール機能学習と融合。 本論文では,マルチスケール表現を原理的に学習・融合するための新しいアテンテンションゲート条件ランダムフィールド(AG-CRFs)モデルに基づく確率的グラフアテンションネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2021-01-08T04:14:29Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。