論文の概要: Coordinate-Aware Modulation for Neural Fields

• arxiv url: http://arxiv.org/abs/2311.14993v1
• Date: Sat, 25 Nov 2023 10:42:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 22:33:48.617960
• Title: Coordinate-Aware Modulation for Neural Fields
• Title（参考訳）: 神経磁場の座標認識変調
• Authors: Joo Chan Lee, Daniel Rho, Seungtae Nam, Jong Hwan Ko, Eunbyung Park
• Abstract要約: 本稿では,ニューラルネットワークにおける合成とグリッド表現の両面を利用した新しい手法を提案する。 格子表現から抽出したスケールとシフト特徴を用いてパラメータを変調するニューラルコーディネート・アウェア・変調(CAM)を提案する。
• 参考スコア（独自算出の注目度）: 11.844561374381575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural fields, mapping low-dimensional input coordinates to corresponding signals, have shown promising results in representing various signals. Numerous methodologies have been proposed, and techniques employing MLPs and grid representations have achieved substantial success. MLPs allow compact and high expressibility, yet often suffer from spectral bias and slow convergence speed. On the other hand, methods using grids are free from spectral bias and achieve fast training speed, however, at the expense of high spatial complexity. In this work, we propose a novel way for exploiting both MLPs and grid representations in neural fields. Unlike the prevalent methods that combine them sequentially (extract features from the grids first and feed them to the MLP), we inject spectral bias-free grid representations into the intermediate features in the MLP. More specifically, we suggest a Coordinate-Aware Modulation (CAM), which modulates the intermediate features using scale and shift parameters extracted from the grid representations. This can maintain the strengths of MLPs while mitigating any remaining potential biases, facilitating the rapid learning of high-frequency components. In addition, we empirically found that the feature normalizations, which have not been successful in neural filed literature, proved to be effective when applied in conjunction with the proposed CAM. Experimental results demonstrate that CAM enhances the performance of neural representation and improves learning stability across a range of signals. Especially in the novel view synthesis task, we achieved state-of-the-art performance with the least number of parameters and fast training speed for dynamic scenes and the best performance under 1MB memory for static scenes. CAM also outperforms the best-performing video compression methods using neural fields by a large margin.
• Abstract（参考訳）: 低次元の入力座標を対応する信号にマッピングするニューラルフィールドは、様々な信号を表現する有望な結果を示している。 多数の手法が提案され、MLPとグリッド表現を用いた技術は大きな成功を収めている。 MLPはコンパクトで高い表現性を実現するが、しばしばスペクトルバイアスと緩やかな収束速度に悩まされる。 一方で、格子を用いる手法はスペクトルバイアスがなく、高い空間的複雑性を犠牲にして高速トレーニング速度を達成している。 本研究では,ニューラルネットワークにおけるMLPとグリッド表現の両方を活用する新しい手法を提案する。 逐次的に組み合わせる一般的な手法と異なり(まずグリッドから特徴を抽出し、MLPに供給する)、スペクトルバイアスのないグリッド表現をMLPの中間特徴に注入する。 具体的には、グリッド表現から抽出したスケールとシフトパラメータを用いて中間特徴を変調するコーディネート・アウェア変調(CAM)を提案する。 これにより、MPPの強度を維持しつつ、潜在的なバイアスを緩和し、高周波成分の迅速な学習を促進することができる。 さらに, ニューラルパブリッシュ文学で成功しなかった特徴正規化は, 提案したCAMと併用して適用した場合に有効であることが実証された。 実験により、CAMは神経表現の性能を高め、様々な信号の学習安定性を向上させることが示された。 特に、新しいビュー合成タスクにおいて、動的シーンの最小パラメータと高速トレーニング速度、静的シーンの1MBメモリ下での最高のパフォーマンスで最先端のパフォーマンスを実現した。 また、CAMは、大きなマージンでニューラルネットワークを使用して、最高のパフォーマンスの動画圧縮方法よりも優れています。

関連論文リスト

• FreSh: Frequency Shifting for Accelerated Neural Representation Learning [11.175745750843484]
  Inlicit Neural Representations (INR) は、画像、ビデオ、三次元形状などの信号を多層パーセプトロン(MLP)を用いて連続的に表現するための強力なアプローチとして近年注目されている。 低周波の詳細は低周波バイアスを示し、高周波の詳細を正確に捉える能力を制限することが知られている。 本稿では、初期出力の周波数スペクトルと目標信号の周波数スペクトルを一致させる周波数シフト(FreSh)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T14:05:57Z)
• Attention Beats Linear for Fast Implicit Neural Representation Generation [13.203243059083533]
  本稿では,局所的注意層(LAL)と大域的表現ベクトルからなる注意型局所INR(ANR)を提案する。 インスタンス固有の表現とインスタンスに依存しないANRパラメータにより、ターゲット信号は連続関数として十分に再構成される。
  論文  参考訳（メタデータ） (2024-07-22T03:52:18Z)
• KFD-NeRF: Rethinking Dynamic NeRF with Kalman Filter [49.85369344101118]
  KFD-NeRFは,Kalmanフィルタに基づく効率的かつ高品質な運動再構成フレームワークと統合された,新しい動的ニューラル放射場である。 我々のキーとなる考え方は、動的放射場を、観測と予測という2つの知識源に基づいて時間的に異なる状態が推定される動的システムとしてモデル化することである。 我々のKFD-NeRFは、同等の計算時間と最先端の視線合成性能で、徹底的な訓練を施した類似または優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-18T05:48:24Z)
• Synergistic Integration of Coordinate Network and Tensorial Feature for Improving Neural Radiance Fields from Sparse Inputs [26.901819636977912]
  本稿では,低周波信号に対する強いバイアスで知られる座標ネットワークと多面表現を統合する手法を提案する。 提案手法は,スパース入力を持つ静的および動的NeRFのベースラインモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-13T15:42:46Z)
• On Optimal Sampling for Learning SDF Using MLPs Equipped with Positional Encoding [79.67071790034609]
  我々は、好ましくない副作用を伴わずに、正確な暗黙の場を学習するための適切なサンプリング率を決定するツールを考案した。 PEを具備したPEは、PE層の最高周波数成分よりも内在周波数がはるかに高いことが観察された。 SDFフィッティングの設定において,この推奨サンプリングレートは正確なフィッティング結果の確保に十分であることを示す。
  論文  参考訳（メタデータ） (2024-01-02T10:51:52Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• Adaptive Multi-NeRF: Exploit Efficient Parallelism in Adaptive Multiple Scale Neural Radiance Field Rendering [3.8200916793910973]
  ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、3次元シーンの出現を暗黙のニューラルネットワークとして表す重要な可能性を示している。 しかし、長いトレーニングとレンダリングのプロセスは、リアルタイムレンダリングアプリケーションにこの有望なテクニックを広く採用することを妨げる。 本稿では,大規模シーンのニューラルネットワークレンダリングプロセスの高速化を目的とした適応型マルチNeRF手法を提案する。
  論文  参考訳（メタデータ） (2023-10-03T08:34:49Z)
• ResFields: Residual Neural Fields for Spatiotemporal Signals [61.44420761752655]
  ResFieldsは、複雑な時間的信号を効果的に表現するために設計された新しいネットワークのクラスである。 本稿では,ResFieldの特性を包括的に解析し,トレーニング可能なパラメータの数を減らすための行列分解手法を提案する。 スパースRGBDカメラからダイナミックな3Dシーンをキャプチャする効果を示すことで,ResFieldsの実用性を実証する。
  論文  参考訳（メタデータ） (2023-09-06T16:59:36Z)
• Meta-Learning Sparse Implicit Neural Representations [69.15490627853629]
  入射神経表現は、一般的な信号を表す新しい道である。 現在のアプローチは、多数の信号やデータセットに対してスケールすることが難しい。 メタ学習型スパースニューラル表現は,高密度メタ学習モデルよりもはるかに少ない損失が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T18:02:53Z)
• Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains [69.62456877209304]
  単純なフーリエ特徴写像を通して入力点を渡すことで、多層パーセプトロンが高周波関数を学習できることを示す。 結果は、最先端の結果を達成するコンピュータビジョンとグラフィックの進歩に光を当てた。
  論文  参考訳（メタデータ） (2020-06-18T17:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。