論文の概要: Synergistic Integration of Coordinate Network and Tensorial Feature for Improving Neural Radiance Fields from Sparse Inputs
- arxiv url: http://arxiv.org/abs/2405.07857v3
- Date: Wed, 5 Jun 2024 09:32:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 12:19:03.479333
- Title: Synergistic Integration of Coordinate Network and Tensorial Feature for Improving Neural Radiance Fields from Sparse Inputs
- Title（参考訳）: スパース入力による神経放射場改善のためのコーディネートネットワークとテンソル特徴の相乗的統合
- Authors: Mingyu Kim, Jun-Seong Kim, Se-Young Yun, Jin-Hwa Kim,
- Abstract要約: 本稿では,低周波信号に対する強いバイアスで知られる座標ネットワークと多面表現を統合する手法を提案する。
提案手法は,スパース入力を持つ静的および動的NeRFのベースラインモデルよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 26.901819636977912
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The multi-plane representation has been highlighted for its fast training and inference across static and dynamic neural radiance fields. This approach constructs relevant features via projection onto learnable grids and interpolating adjacent vertices. However, it has limitations in capturing low-frequency details and tends to overuse parameters for low-frequency features due to its bias toward fine details, despite its multi-resolution concept. This phenomenon leads to instability and inefficiency when training poses are sparse. In this work, we propose a method that synergistically integrates multi-plane representation with a coordinate-based MLP network known for strong bias toward low-frequency signals. The coordinate-based network is responsible for capturing low-frequency details, while the multi-plane representation focuses on capturing fine-grained details. We demonstrate that using residual connections between them seamlessly preserves their own inherent properties. Additionally, the proposed progressive training scheme accelerates the disentanglement of these two features. We demonstrate empirically that our proposed method not only outperforms baseline models for both static and dynamic NeRFs with sparse inputs, but also achieves comparable results with fewer parameters.
- Abstract（参考訳）: マルチプレーン表現は、静的および動的神経放射場を横断する高速な訓練と推論のために強調されている。
このアプローチは、学習可能な格子上に投影し、隣接する頂点を補間することで関連する特徴を構築する。
しかし、低周波の詳細の取得には限界があり、マルチ解像度の概念にもかかわらず、細部への偏りのため、低周波の特徴のパラメータを過剰に使用する傾向がある。
この現象は、トレーニングのポーズがスパースであるときに不安定さと非効率性をもたらす。
本研究では,低周波信号に対する強いバイアスで知られる座標ベースMLPネットワークと,多面表現を相乗的に統合する手法を提案する。
座標に基づくネットワークは低周波の詳細を捉え、マルチプレーン表現は細かな詳細を捉えることに重点を置いている。
それらの間の残余接続は、その固有の特性をシームレスに保存することを示した。
さらに,提案手法は,これら2つの特徴の絡み合いを促進させる。
提案手法は,スパース入力を持つ静的および動的NeRFのベースラインモデルよりも優れるだけでなく,パラメータが少なくて同等の結果が得られることを実証的に実証した。
関連論文リスト
- Attention Beats Linear for Fast Implicit Neural Representation Generation [13.203243059083533]
本稿では,局所的注意層(LAL)と大域的表現ベクトルからなる注意型局所INR(ANR)を提案する。
インスタンス固有の表現とインスタンスに依存しないANRパラメータにより、ターゲット信号は連続関数として十分に再構成される。
論文 参考訳（メタデータ） (2024-07-22T03:52:18Z) - Coordinate-Aware Modulation for Neural Fields [11.844561374381575]
本稿では,ニューラルネットワークにおける合成とグリッド表現の両面を利用した新しい手法を提案する。
格子表現から抽出したスケールとシフト特徴を用いてパラメータを変調するニューラルコーディネート・アウェア・変調(CAM)を提案する。
論文 参考訳（メタデータ） (2023-11-25T10:42:51Z) - ResFields: Residual Neural Fields for Spatiotemporal Signals [61.44420761752655]
ResFieldsは、複雑な時間的信号を効果的に表現するために設計された新しいネットワークのクラスである。
本稿では,ResFieldの特性を包括的に解析し,トレーニング可能なパラメータの数を減らすための行列分解手法を提案する。
スパースRGBDカメラからダイナミックな3Dシーンをキャプチャする効果を示すことで,ResFieldsの実用性を実証する。
論文 参考訳（メタデータ） (2023-09-06T16:59:36Z) - Tunable Convolutions with Parametric Multi-Loss Optimization [5.658123802733283]
ニューラルネットワークの挙動は、トレーニング中に使用される特定の損失とデータによって不適切に決定される。
ユーザの好みやデータの動的特性といった外部要因に基づいて,推論時にモデルをチューニングすることが望ましい場合が多い。
これは、不適切な画像から画像への変換タスクの知覚歪曲トレードオフのバランスをとるために特に重要である。
論文 参考訳（メタデータ） (2023-04-03T11:36:10Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳（メタデータ） (2022-09-29T04:06:00Z) - Hierarchical Spherical CNNs with Lifting-based Adaptive Wavelets for
Pooling and Unpooling [101.72318949104627]
本稿では, 階層型畳み込みニューラルネットワーク(HS-CNN)の新たな枠組みを提案し, プールやアンプールのための適応球面ウェーブレットを学習する。
LiftHS-CNNは、画像レベルのタスクとピクセルレベルのタスクの両方において、より効率的な階層的特徴学習を実現する。
論文 参考訳（メタデータ） (2022-05-31T07:23:42Z) - Deep Impulse Responses: Estimating and Parameterizing Filters with Deep
Networks [76.830358429947]
高雑音および地中設定におけるインパルス応答推定は難しい問題である。
本稿では,ニューラル表現学習の最近の進歩に基づいて,インパルス応答のパラメータ化と推定を行う新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-07T18:57:23Z) - Meta-Learning Sparse Implicit Neural Representations [69.15490627853629]
入射神経表現は、一般的な信号を表す新しい道である。
現在のアプローチは、多数の信号やデータセットに対してスケールすることが難しい。
メタ学習型スパースニューラル表現は,高密度メタ学習モデルよりもはるかに少ない損失が得られることを示す。
論文 参考訳（メタデータ） (2021-10-27T18:02:53Z) - Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。
異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。
深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
論文 参考訳（メタデータ） (2021-06-24T12:23:05Z) - Learning Graph-Convolutional Representations for Point Cloud Denoising [31.557988478764997]
本稿では,学習ベースのポイントクラウド処理手法で発生する置換不変問題に対処可能なディープニューラルネットワークを提案する。
ネットワークは完全に畳み込み可能で、近傍グラフを動的に構築することで、機能の複雑な階層を構築することができる。
特に高騒音レベルと実LiDARスキャンで遭遇したような構造ノイズの存在の両方において堅牢である。
論文 参考訳（メタデータ） (2020-07-06T08:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。