論文の概要: How to Train Neural Field Representations: A Comprehensive Study and
Benchmark
- arxiv url: http://arxiv.org/abs/2312.10531v1
- Date: Sat, 16 Dec 2023 20:10:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 16:08:28.106256
- Title: How to Train Neural Field Representations: A Comprehensive Study and
Benchmark
- Title(参考訳): ニューラルフィールド表現のトレーニング方法:包括的研究とベンチマーク
- Authors: Samuele Papa, Riccardo Valperga, David Knigge, Miltiadis Kofinas,
Phillip Lippe, Jan-Jakob Sonke, Efstratios Gavves
- Abstract要約: $verb|fit-a-nef|$は、大規模ニューラルネットワークの高速な最適化を実現するために並列化を利用するJAXベースのライブラリである。
下流タスクに対するNeFの適合性に対する異なるハイパーパラメータの影響について検討する。
本稿では、一般的な視覚データセットのニューラルネットワーク変種からなるベンチマークであるNeural Field Arenaを提案する。
- 参考スコア(独自算出の注目度): 31.21629569772885
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural fields (NeFs) have recently emerged as a versatile method for modeling
signals of various modalities, including images, shapes, and scenes.
Subsequently, a number of works have explored the use of NeFs as
representations for downstream tasks, e.g. classifying an image based on the
parameters of a NeF that has been fit to it. However, the impact of the NeF
hyperparameters on their quality as downstream representation is scarcely
understood and remains largely unexplored. This is in part caused by the large
amount of time required to fit datasets of neural fields.
In this work, we propose $\verb|fit-a-nef|$, a JAX-based library that
leverages parallelization to enable fast optimization of large-scale NeF
datasets, resulting in a significant speed-up. With this library, we perform a
comprehensive study that investigates the effects of different hyperparameters
-- including initialization, network architecture, and optimization strategies
-- on fitting NeFs for downstream tasks. Our study provides valuable insights
on how to train NeFs and offers guidance for optimizing their effectiveness in
downstream applications. Finally, based on the proposed library and our
analysis, we propose Neural Field Arena, a benchmark consisting of neural field
variants of popular vision datasets, including MNIST, CIFAR, variants of
ImageNet, and ShapeNetv2. Our library and the Neural Field Arena will be
open-sourced to introduce standardized benchmarking and promote further
research on neural fields.
- Abstract(参考訳): ニューラルフィールド(NeF)は、画像、形状、シーンを含む様々なモードの信号をモデリングするための汎用的な手法として最近登場した。
その後、多くの研究が下流タスクの表現としてNeFを使うことを探り、例えば、それに適合したNeFのパラメータに基づいて画像を分類した。
しかし、下流表現としてのNeFハイパーパラメータが品質に与える影響はほとんど理解されておらず、ほとんど探索されていない。
これは部分的には、ニューラルネットワークのデータセットに適合するために必要な膨大な時間によって引き起こされる。
本稿では,大規模nefデータセットの高速最適化を実現するために並列化を利用するjaxベースのライブラリである$\verb|fit-a-nef|$を提案する。
このライブラリでは、初期化、ネットワークアーキテクチャ、最適化戦略など、さまざまなハイパーパラメータが下流タスクにnefを適合させる効果について、包括的な研究を行う。
我々の研究は、NeFのトレーニング方法に関する貴重な洞察を提供し、下流アプリケーションでの有効性を最適化するためのガイダンスを提供する。
最後に、提案したライブラリと分析に基づいて、MNIST、CIFAR、ImageNetの変種、ShapeNetv2を含む一般的な視覚データセットのニューラルネットワーク変種からなるベンチマークであるNeural Field Arenaを提案する。
我々のライブラリとNeural Field Arenaは、標準化されたベンチマークを導入し、ニューラルフィールドに関するさらなる研究を促進するためにオープンソース化される。
関連論文リスト
- FFEINR: Flow Feature-Enhanced Implicit Neural Representation for
Spatio-temporal Super-Resolution [4.577685231084759]
本稿では,フローフィールドデータの超高分解能化のための特徴強調型ニューラルインシシット表現(FFEINR)を提案する。
モデル構造とサンプリング分解能の観点から、暗黙のニューラル表現を最大限に活用することができる。
FFEINRのトレーニングプロセスは、入力層に機能拡張を導入することで容易になる。
論文 参考訳(メタデータ) (2023-08-24T02:28:18Z) - NIO: Lightweight neural operator-based architecture for video frame
interpolation [15.875579519177487]
NIOは、ビデオフレーム・バイ・フレーム学習を実行するための軽量で効率的なニューラル演算子ベースのアーキテクチャである。
我々は、NIOが視覚的に滑らかで正確な結果を生成でき、最先端のアプローチよりもエポックに収束することが示している。
論文 参考訳(メタデータ) (2022-11-19T20:30:47Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳(メタデータ) (2022-11-15T10:15:21Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳(メタデータ) (2022-10-14T03:43:05Z) - Learning Neural Light Fields with Ray-Space Embedding Networks [51.88457861982689]
我々は、コンパクトで、光線に沿った統合放射率を直接予測する新しいニューラル光場表現を提案する。
提案手法は,Stanford Light Field データセットのような,高密度の前方向きデータセットの最先端品質を実現する。
論文 参考訳(メタデータ) (2021-12-02T18:59:51Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。
この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。
我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文 参考訳(メタデータ) (2021-06-09T17:59:10Z) - Convolution Neural Network Hyperparameter Optimization Using Simplified
Swarm Optimization [2.322689362836168]
畳み込みニューラルネットワーク(CNN)はコンピュータビジョンで広く使われている。
パフォーマンスが向上したネットワークアーキテクチャを見つけるのは容易ではない。
論文 参考訳(メタデータ) (2021-03-06T00:23:27Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-02-07T14:19:07Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。