Fugu-MT 論文翻訳(概要): SSNeRF: Sparse View Semi-supervised Neural Radiance Fields with Augmentation

論文の概要: SSNeRF: Sparse View Semi-supervised Neural Radiance Fields with Augmentation

arxiv url: http://arxiv.org/abs/2408.09144v1
Date: Sat, 17 Aug 2024 09:00:37 GMT
ステータス: 処理完了
システム内更新日: 2024-08-20 22:25:12.426786
Title: SSNeRF: Sparse View Semi-supervised Neural Radiance Fields with Augmentation
Title（参考訳）: SSNeRF: 拡張型半教師型ニューラルラジアンス場
Authors: Xiao Cao, Beibei Lin, Bo Wang, Zhiyong Huang, Robby T. Tan,
Abstract要約: SSNeRF(SSNeRF)は、教師の枠組みに基づくスパースビュー半教師付きNeRF法である。私たちのキーとなるアイデアは、徐々に厳しい視界劣化を伴うNeRFモジュールに挑戦することです。提案手法では,教師のNeRFは信頼度スコアとともに新規な視点を生成し,学生のNeRFは信頼度の高い擬似ラベルから学習する。
参考スコア（独自算出の注目度）: 21.454340647455236
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sparse view NeRF is challenging because limited input images lead to an under constrained optimization problem for volume rendering. Existing methods address this issue by relying on supplementary information, such as depth maps. However, generating this supplementary information accurately remains problematic and often leads to NeRF producing images with undesired artifacts. To address these artifacts and enhance robustness, we propose SSNeRF, a sparse view semi supervised NeRF method based on a teacher student framework. Our key idea is to challenge the NeRF module with progressively severe sparse view degradation while providing high confidence pseudo labels. This approach helps the NeRF model become aware of noise and incomplete information associated with sparse views, thus improving its robustness. The novelty of SSNeRF lies in its sparse view specific augmentations and semi supervised learning mechanism. In this approach, the teacher NeRF generates novel views along with confidence scores, while the student NeRF, perturbed by the augmented input, learns from the high confidence pseudo labels. Our sparse view degradation augmentation progressively injects noise into volume rendering weights, perturbs feature maps in vulnerable layers, and simulates sparse view blurriness. These augmentation strategies force the student NeRF to recognize degradation and produce clearer rendered views. By transferring the student's parameters to the teacher, the teacher gains increased robustness in subsequent training iterations. Extensive experiments demonstrate the effectiveness of our SSNeRF in generating novel views with less sparse view degradation. We will release code upon acceptance.
Abstract（参考訳）: Sparse view NeRFは、限られた入力画像がボリュームレンダリングの制約の少ない最適化問題を引き起こすため、難しい。既存の手法では、深度マップのような補足的な情報に頼ることでこの問題に対処している。しかし、この補足情報を正確に生成することは問題であり、多くの場合、望ましくないアーティファクトを持つ画像を生成する。これらの成果に対処し、堅牢性を高めるため、教員の枠組みに基づくスパースビュー半教師付きNeRF法であるSSNeRFを提案する。我々のキーとなる考え方は、高い信頼性の擬似ラベルを提供しながら、徐々に厳しい視界劣化を伴うNeRFモジュールに挑戦することである。このアプローチにより、NeRFモデルはスパースビューに関連するノイズや不完全な情報を認識し、その堅牢性を向上させることができる。 SSNeRFの新規性は、そのスパースビュー特有の拡張と半教師付き学習機構にある。提案手法では,教師のNeRFは信頼度スコアとともに新規な視点を生成し,学生のNeRFは信頼度の高い擬似ラベルから学習する。我々のスパースビュー劣化は、徐々にノイズをボリュームレンダリングの重みに注入し、パーターブの特徴マップを脆弱な層に配置し、スパースビューのぼかしをシミュレートする。これらの拡張戦略により、学生のNeRFは劣化を認識し、より鮮明なレンダリングビューを生成する。生徒のパラメータを教師に転送することで、教師はその後の訓練の繰り返しにおいて堅牢性を高める。 SSNeRFによる視界劣化の少ない新しい視界の創出効果について検討した。私たちは受け入れに応じてコードを公開します。

関連論文リスト

Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
論文参考訳（メタデータ） (2024-10-23T13:05:26Z)
Self-Evolving Neural Radiance Fields [31.124406548504794]
我々は、自己学習フレームワークを神経放射場(NeRF)に適用する、SE-NeRF(Self-Evolving Neural Radiance Fields)と呼ばれる新しいフレームワークを提案する。数発のNeRFを教師向けフレームワークに定式化し、ネットワークを誘導し、より堅牢なシーン表現を学習する。既存のモデルに自己学習フレームワークを適用することで、レンダリング画像の品質が向上し、複数の設定で最先端のパフォーマンスが達成できることを示し、評価する。
論文参考訳（メタデータ） (2023-12-02T02:28:07Z)
Shielding the Unseen: Privacy Protection through Poisoning NeRF with Spatial Deformation [59.302770084115814]
本稿では,Neural Radiance Fields(NeRF)モデルの生成機能に対して,ユーザのプライバシを保護する革新的な手法を提案する。我々の新しい中毒攻撃法は、人間の目では認識できないが、NeRFが正確に3Dシーンを再構築する能力を損なうのに十分強力である観察ビューの変化を誘発する。我々は、高品質の画像を含む29の現実世界シーンからなる2つの共通のNeRFベンチマークデータセットに対して、我々のアプローチを広範囲に検証した。
論文参考訳（メタデータ） (2023-10-04T19:35:56Z)
From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm [57.73868344064043]
我々は、劣化駆動の視点間ミキサーを学習する一般的なNeRF-Agnostic restorerパラダイムであるNeRFLiXを提案する。また、より強力な2段階のNeRF分解シミュレータとより高速なビューポイントミキサーを備えたNeRFLiX++を提案する。 NeRFLiX++は、ノイズの多い低解像度のNeRFレンダリングビューからフォトリアリスティックな超高解像度出力を復元することができる。
論文参考訳（メタデータ） (2023-06-10T09:19:19Z)
NeRFVS: Neural Radiance Fields for Free View Synthesis via Geometry Scaffolds [60.1382112938132]
室内における自由ナビゲーションを可能にする新しいニューラル放射場(NeRF)法であるNeRFVSを提案する。 NeRFは、トレーニングビューと大きく異なる新規ビューに苦しむ一方で、入力ビューと同様の新規ビューの画像のレンダリングにおいて、印象的なパフォーマンスを実現している。
論文参考訳（メタデータ） (2023-04-13T06:40:08Z)
Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
論文参考訳（メタデータ） (2023-03-10T08:22:36Z)
StegaNeRF: Embedding Invisible Information within Neural Radiance Fields [61.653702733061785]
我々は、NeRFレンダリングにステガノグラフィー情報を埋め込む方法であるStegaNeRFを提案する。我々は、NeRFで描画された画像から正確な隠れ情報抽出を可能にする最適化フレームワークを設計する。 StegaNeRFは、NeRFレンダリングにカスタマイズ可能で、認識不能で、回復不能な情報を注入する新しい問題に対する最初の調査である。
論文参考訳（メタデータ） (2022-12-03T12:14:19Z)
PANeRF: Pseudo-view Augmentation for Improved Neural Radiance Fields Based on Few-shot Inputs [3.818285175392197]
神経放射場(NeRF)は複雑なシーンの新しいビューに有望な応用がある。 NeRFは、高品質な画像を生成するために、数百の数字の高密度な入力ビューを必要とする。少ショット入力の幾何を考慮した十分な量のデータ拡張方式であるNeRFの擬似ビュー拡張を提案する。
論文参考訳（メタデータ） (2022-11-23T08:01:10Z)
ActiveNeRF: Learning where to See with Uncertainty Estimation [36.209200774203005]
近年,Neural Radiance Fields (NeRF) は,3次元シーンの再構成や,スパース2次元画像からの新規ビューの合成に有望な性能を示した。本稿では,制約のある入力予算で3Dシーンをモデル化することを目的とした,新しい学習フレームワークであるActiveNeRFを提案する。
論文参考訳（メタデータ） (2022-09-18T12:09:15Z)
Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
論文参考訳（メタデータ） (2022-07-04T02:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。