論文の概要: Sharpening Neural Implicit Functions with Frequency Consolidation Priors
- arxiv url: http://arxiv.org/abs/2412.19720v1
- Date: Fri, 27 Dec 2024 16:18:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-30 17:26:01.600758
- Title: Sharpening Neural Implicit Functions with Frequency Consolidation Priors
- Title（参考訳）: 周波数整合プリミティブを用いたニューラルインシシタ関数のシャープ化
- Authors: Chao Chen, Yu-Shen Liu, Zhizhong Han,
- Abstract要約: 符号付き距離関数 (Signed Distance Function, SDF) は、高忠実度3D表面を表現するために重要な暗黙の表現である。
現在の手法は主にニューラルネットワークを利用して、署名された3Dポイントクラウドやマルチビューイメージなど、さまざまな監督機関からSDFを学ぶ。
本研究では、高周波成分を回収し、よりシャープで完全な表面を追求することにより、低周波SDF観測を高速化する手法を提案する。
- 参考スコア（独自算出の注目度）: 53.6277160912059
- License:
- Abstract: Signed Distance Functions (SDFs) are vital implicit representations to represent high fidelity 3D surfaces. Current methods mainly leverage a neural network to learn an SDF from various supervisions including signed distances, 3D point clouds, or multi-view images. However, due to various reasons including the bias of neural network on low frequency content, 3D unaware sampling, sparsity in point clouds, or low resolutions of images, neural implicit representations still struggle to represent geometries with high frequency components like sharp structures, especially for the ones learned from images or point clouds. To overcome this challenge, we introduce a method to sharpen a low frequency SDF observation by recovering its high frequency components, pursuing a sharper and more complete surface. Our key idea is to learn a mapping from a low frequency observation to a full frequency coverage in a data-driven manner, leading to a prior knowledge of shape consolidation in the frequency domain, dubbed frequency consolidation priors. To better generalize a learned prior to unseen shapes, we introduce to represent frequency components as embeddings and disentangle the embedding of the low frequency component from the embedding of the full frequency component. This disentanglement allows the prior to generalize on an unseen low frequency observation by simply recovering its full frequency embedding through a test-time self-reconstruction. Our evaluations under widely used benchmarks or real scenes show that our method can recover high frequency component and produce more accurate surfaces than the latest methods. The code, data, and pre-trained models are available at \url{https://github.com/chenchao15/FCP}.
- Abstract（参考訳）: 符号付き距離関数 (Signed Distance Function, SDF) は、高忠実度3D表面を表現するために重要な暗黙の表現である。
現在の手法は主にニューラルネットワークを利用して、署名付き距離、3Dポイントクラウド、マルチビューイメージなど、さまざまな監督機関からSDFを学ぶ。
しかし、低周波コンテンツに対するニューラルネットワークのバイアス、3Dのサンプリング、点雲の空間性、画像の低分解能など、さまざまな理由により、ニューラルネットワークの暗黙表現は、シャープな構造のような高周波成分を持つジオメトリを表現するのに苦慮している。
この課題を克服するために,高周波成分を回収し,よりシャープで完全な表面を追求することにより,低周波SDF観測を高速化する手法を提案する。
我々のキーとなる考え方は、低周波観測から全周波カバレッジへのデータ駆動方式でマッピングを学習し、周波数領域における形状整合の事前知識を導出することである。
本研究では, 周波数成分を埋め込みとして表現し, 低周波成分の埋め込みを全周波成分の埋め込みから切り離す手法を提案する。
この絡み合いは、テスト時間自己再構成を通じて全周波数を埋め込むだけで、目に見えない低周波観測を一般化することができる。
広範に使用されているベンチマークや実シーンで評価した結果,本手法は高周波数成分を回収し,最新の手法よりも精度の高い表面を生成できることがわかった。
コード、データ、および事前訓練されたモデルは、 \url{https://github.com/chenchao15/FCP}で入手できる。
関連論文リスト
- Frequency-regularized Neural Representation Method for Sparse-view Tomographic Reconstruction [8.45338755060592]
自己教師付きスパース・ビュー・トモグラフィ再構成のための正規化ニューラル減衰/活性場(Freq-NAF)を提案する。
Freq-NAFは、ニューラルネットワーク入力の可視周波数帯域を直接制御して、周波数正規化による過度な適合を緩和する。
論文 参考訳（メタデータ） (2024-09-22T11:19:38Z) - Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳（メタデータ） (2024-03-12T01:28:00Z) - Frequency-Adaptive Pan-Sharpening with Mixture of Experts [22.28680499480492]
パンシャーピングのための新しい周波数適応型エキスパート混合学習フレームワーク(FAME)を提案する。
本手法は他の最先端技術に対して最善を尽くし,現実のシーンに対して強力な一般化能力を有する。
論文 参考訳（メタデータ） (2024-01-04T08:58:25Z) - 3D Visibility-aware Generalizable Neural Radiance Fields for Interacting
Hands [51.305421495638434]
ニューラル放射場(NeRF)は、シーン、オブジェクト、人間の3D表現を約束する。
本稿では,手動操作のための一般化可能な視認可能なNeRFフレームワークを提案する。
Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。
論文 参考訳（メタデータ） (2024-01-02T00:42:06Z) - WaveNeRF: Wavelet-based Generalizable Neural Radiance Fields [149.2296890464997]
我々は、ウェーブレット周波数分解をMVSとNeRFに統合したWaveNeRFを設計する。
WaveNeRFは、3つの画像のみを入力として与えたときに、より優れた一般化可能な放射場モデリングを実現する。
論文 参考訳（メタデータ） (2023-08-09T09:24:56Z) - Both Spatial and Frequency Cues Contribute to High-Fidelity Image
Inpainting [9.080472817672263]
深部生成的アプローチは、近年、画像の塗布において大きな成功を収めている。
ほとんどの生成的塗布ネットワークは、過度に滑らかな結果か、アーティファクトのエイリアスに悩まされている。
本研究では、空間領域と周波数領域の両方において、リッチな意味情報を活用することで、周波数空間補間ネットワーク(FSCN)を提案する。
論文 参考訳（メタデータ） (2023-07-15T01:52:06Z) - High Fidelity 3D Hand Shape Reconstruction via Scalable Graph Frequency
Decomposition [77.29516516532439]
周波数分割ネットワークを設計し,周波数帯域の異なる3次元ハンドメッシュを粗い方法で生成する。
高周波パーソナライズされた詳細を捉えるため、3Dメッシュを周波数領域に変換し、新しい周波数分解損失を提案する。
提案手法は高忠実度3次元手指再建のための微細な細部情報を生成する。
論文 参考訳（メタデータ） (2023-07-08T19:26:09Z) - Spatial-Temporal Frequency Forgery Clue for Video Forgery Detection in
VIS and NIR Scenario [87.72258480670627]
既存の周波数領域に基づく顔偽造検出手法では、GAN鍛造画像は、実際の画像と比較して、周波数スペクトルに明らかな格子状の視覚的アーチファクトを持つ。
本稿では,コサイン変換に基づくフォージェリークリュー拡張ネットワーク(FCAN-DCT)を提案し,より包括的な時空間特徴表現を実現する。
論文 参考訳（メタデータ） (2022-07-05T09:27:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。