論文の概要: 2D Neural Fields with Learned Discontinuities
- arxiv url: http://arxiv.org/abs/2408.00771v1
- Date: Mon, 15 Jul 2024 21:55:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 05:28:21.276815
- Title: 2D Neural Fields with Learned Discontinuities
- Title(参考訳): 学習した不連続性を持つ2次元ニューラルネットワーク
- Authors: Chenxi Liu, Siqi Wang, Matthew Fisher, Deepali Aneja, Alec Jacobson,
- Abstract要約: 本稿では,対象画像と協調的に近似し,不連続性を回復する新たな不連続性ニューラルネットワークモデルを提案する。
また,本モデルでは,ムンフォード-シャフ法を上回り,不連続性を正確に把握し,チャンファーを真相に近づけた。
- 参考スコア(独自算出の注目度): 39.49492874634648
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Effective representation of 2D images is fundamental in digital image processing, where traditional methods like raster and vector graphics struggle with sharpness and textural complexity respectively. Current neural fields offer high-fidelity and resolution independence but require predefined meshes with known discontinuities, restricting their utility. We observe that by treating all mesh edges as potential discontinuities, we can represent the magnitude of discontinuities with continuous variables and optimize. Based on this observation, we introduce a novel discontinuous neural field model that jointly approximate the target image and recovers discontinuities. Through systematic evaluations, our neural field demonstrates superior performance in denoising and super-resolution tasks compared to InstantNGP, achieving improvements of over 5dB and 10dB, respectively. Our model also outperforms Mumford-Shah-based methods in accurately capturing discontinuities, with Chamfer distances 3.5x closer to the ground truth. Additionally, our approach shows remarkable capability in handling complex artistic drawings and natural images.
- Abstract(参考訳): 2次元画像の効果的な表現は、ラスタやベクトルグラフィックスといった従来の手法がそれぞれシャープさとテクスチャの複雑さに苦しむデジタル画像処理において基本となる。
現在のニューラルネットワークは、高忠実度と解像度の独立性を提供するが、既知の不連続性を持つ事前定義されたメッシュを必要とし、その実用性を制限する。
すべてのメッシュエッジを潜在的な不連続性として扱うことで、連続変数による不連続性の規模を表現し、最適化することができる。
そこで,本研究では,対象画像と協調的に近似し,不連続性を回復する新たな不連続性ニューラルネットワークモデルを提案する。
InstantNGPと比較して,本研究の脳野は,5dB以上と10dB以上の改善を実現した。
我々のモデルはムンフォード・シャー法を上回り、不連続性を正確に把握し、チャンファー距離は地上の真理に3.5倍近い。
さらに,本手法は複雑な芸術的図面や自然画像を扱う際,顕著な能力を示す。
関連論文リスト
- Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。
同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
論文 参考訳(メタデータ) (2024-06-06T03:37:39Z) - Robust CLIP-Based Detector for Exposing Diffusion Model-Generated Images [13.089550724738436]
拡散モデル(DM)は画像生成に革命をもたらし、様々な分野にまたがる高品質な画像を生成する。
超現実的画像を作成する能力は、現実的コンテンツと合成的コンテンツを区別する上で大きな課題となる。
この研究は、CLIPモデルによって抽出された画像とテキストの特徴をMLP(Multilayer Perceptron)分類器と統合する堅牢な検出フレームワークを導入する。
論文 参考訳(メタデータ) (2024-04-19T14:30:41Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳(メタデータ) (2023-10-11T12:46:11Z) - Neural Point-based Volumetric Avatar: Surface-guided Neural Points for
Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。
具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。
設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
論文 参考訳(メタデータ) (2023-07-11T03:40:10Z) - NIKI: Neural Inverse Kinematics with Invertible Neural Networks for 3D
Human Pose and Shape Estimation [53.25973084799954]
両方向誤差をモデル化したNIKI(Neural Inverse Kinematics with Invertible Neural Network)を提案する。
NIKIは、非可逆ネットワークによる前処理と逆処理の両方から学習することができる。
論文 参考訳(メタデータ) (2023-05-15T12:13:24Z) - Photo-realistic Neural Domain Randomization [37.42597274391271]
ニューラルレンダリングの最近の進歩は、フォトリアリスティック・ニューラルドメインランダム化(PNDR)と呼ばれる新しい統一アプローチを可能にしていることを示す。
我々のアプローチはモジュラーであり、材料、照明、レンダリングのための異なるニューラルネットワークで構成されており、異なるキー画像生成コンポーネントを異なるパイプラインでランダム化することが可能である。
実験の結果,PNDRを用いたトレーニングにより,新たなシーンへの一般化が可能であり,実世界移動の面では芸術の状況を大きく上回っていることがわかった。
論文 参考訳(メタデータ) (2022-10-23T09:45:27Z) - RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。
表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
論文 参考訳(メタデータ) (2022-05-14T05:35:35Z) - AE-NeRF: Auto-Encoding Neural Radiance Fields for 3D-Aware Object
Manipulation [24.65896451569795]
我々は,AE-NeRF(Auto-Aware Neural Radiance Fields)と呼ばれる3次元物体操作のための新しいフレームワークを提案する。
我々のモデルは自動エンコーダアーキテクチャで定式化され、画像から3次元形状、外観、カメラポーズなどの不整形3D属性を抽出する。
歪み生成ニューラルレージアンスフィールド(NeRF)による特性から高品質な画像が描画される
論文 参考訳(メタデータ) (2022-04-28T11:50:18Z) - RNNPose: Recurrent 6-DoF Object Pose Refinement with Robust
Correspondence Field Estimation and Pose Optimization [46.144194562841435]
本稿では、オブジェクトポーズ改善のためのリカレントニューラルネットワーク(RNN)に基づくフレームワークを提案する。
この問題は、推定対応フィールドに基づいて非線形最小二乗問題として定式化される。
各イテレーションにおいて、対応フィールド推定とポーズ精錬を代替して行い、正確なオブジェクトポーズを復元する。
論文 参考訳(メタデータ) (2022-03-24T06:24:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。