論文の概要: AIM 2024 Sparse Neural Rendering Challenge: Dataset and Benchmark

• arxiv url: http://arxiv.org/abs/2409.15041v1
• Date: Mon, 23 Sep 2024 14:10:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 14:53:59.769324
• Title: AIM 2024 Sparse Neural Rendering Challenge: Dataset and Benchmark
• Title（参考訳）: AIM 2024 Sparse Neural Rendering Challenge:データセットとベンチマーク
• Authors: Michal Nazarczuk, Thomas Tanay, Sibi Catley-Chandar, Richard Shaw, Radu Timofte, Eduardo Pérez-Pellitero,
• Abstract要約: 異なるレンダリングは、シーンの密集した視点のカバレッジに依存します。 ほんのわずかのインプットビューが利用できる場合、多くの課題が発生する。 スパースレンダリング文学における繰り返し発生する問題は、均一で最新のデータセットと評価プロトコルがないことである。 DTU MVSデータセットのセットアップに従う新しいデータセットを導入する。
• 参考スコア（独自算出の注目度）: 43.76981659253837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent developments in differentiable and neural rendering have made impressive breakthroughs in a variety of 2D and 3D tasks, e.g. novel view synthesis, 3D reconstruction. Typically, differentiable rendering relies on a dense viewpoint coverage of the scene, such that the geometry can be disambiguated from appearance observations alone. Several challenges arise when only a few input views are available, often referred to as sparse or few-shot neural rendering. As this is an underconstrained problem, most existing approaches introduce the use of regularisation, together with a diversity of learnt and hand-crafted priors. A recurring problem in sparse rendering literature is the lack of an homogeneous, up-to-date, dataset and evaluation protocol. While high-resolution datasets are standard in dense reconstruction literature, sparse rendering methods often evaluate with low-resolution images. Additionally, data splits are inconsistent across different manuscripts, and testing ground-truth images are often publicly available, which may lead to over-fitting. In this work, we propose the Sparse Rendering (SpaRe) dataset and benchmark. We introduce a new dataset that follows the setup of the DTU MVS dataset. The dataset is composed of 97 new scenes based on synthetic, high-quality assets. Each scene has up to 64 camera views and 7 lighting configurations, rendered at 1600x1200 resolution. We release a training split of 82 scenes to foster generalizable approaches, and provide an online evaluation platform for the validation and test sets, whose ground-truth images remain hidden. We propose two different sparse configurations (3 and 9 input images respectively). This provides a powerful and convenient tool for reproducible evaluation, and enable researchers easy access to a public leaderboard with the state-of-the-art performance scores. Available at: https://sparebenchmark.github.io/
• Abstract（参考訳）: 微分可能およびニューラルレンダリングの最近の進歩は、様々な2Dおよび3Dタスク、例えば、新しいビュー合成、3D再構成において画期的なブレークスルーをもたらした。 通常、微分可能なレンダリングはシーンの密集した視点のカバレッジに依存しており、幾何学は外観の観察だけでは曖昧にすることができる。 少数のインプットビュー(しばしばスパースまたは少数ショットニューラルレンダリングと呼ばれる)が利用可能である場合、いくつかの課題が発生する。 これは制約の少ない問題であるため、既存のほとんどのアプローチでは、学習と手作りの先行の多様性とともに、正規化の使用を導入している。 スパースレンダリング文学における繰り返し発生する問題は、均一で最新のデータセットと評価プロトコルがないことである。 高解像度データセットは高解像度再構成文献では標準的なものであるが、スパースレンダリング法は低解像度画像で評価されることが多い。 さらに、データ分割は異なる写本間で矛盾しておらず、地平線画像のテストはしばしば公開されており、過度に適合する可能性がある。 本研究では,Sparse Rendering(SpaRe)データセットとベンチマークを提案する。 DTU MVSデータセットのセットアップに従う新しいデータセットを導入する。 データセットは、合成された高品質な資産に基づいた97の新しいシーンで構成されている。 各シーンには最大64枚のカメラビューと7つの照明設定があり、1600×1200解像度でレンダリングされる。 我々は、一般化可能なアプローチを育むために82のシーンからなるトレーニングスプリットをリリースし、地味な画像が隠されている検証とテストセットのためのオンライン評価プラットフォームを提供する。 本稿では2つの異なるスパース構成 (3 と 9 の入力画像) を提案する。 これにより、再現可能な評価のための強力で便利なツールが提供され、研究者が最先端のパフォーマンススコアを持つ公開リーダボードに簡単にアクセスできるようになります。 https://sparebenchmark.github.io/

関連論文リスト

• MegaScenes: Scene-Level View Synthesis at Scale [69.21293001231993]
  NVS (Scene-level novel view synthesis) は多くの視覚やグラフィックスの応用に基礎を置いている。 MegaScenesと呼ばれるインターネット写真コレクションから大規模なシーンレベルのデータセットを作成し、世界中の動き(SfM)から100K以上の構造を復元する。 我々は、最先端NVS手法の故障事例を分析し、生成一貫性を大幅に改善する。
  論文  参考訳（メタデータ） (2024-06-17T17:55:55Z)
• Total-Decom: Decomposed 3D Scene Reconstruction with Minimal Interaction [51.3632308129838]
  人間のインタラクションを最小限に抑えた3次元再構成法であるTotal-Decomを提案する。 提案手法は,Segment Anything Model (SAM) とハイブリッド型暗黙的なニューラルサーフェス表現をシームレスに統合し,メッシュベースの領域成長技術を用いて正確な3次元オブジェクト分解を行う。 提案手法をベンチマークデータセット上で広範囲に評価し,アニメーションやシーン編集などの下流アプリケーションの可能性を示す。
  論文  参考訳（メタデータ） (2024-03-28T11:12:33Z)
• DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering [126.00165445599764]
  ニューラルアクターレンダリングのための人間のパフォーマンスデータの大規模かつ高忠実なリポジトリであるDNAレンダリングを提案する。 我々のデータセットには、1500人以上の被験者、5000のモーションシーケンス、67.5Mのフレームのデータボリュームが含まれています。 我々は,最大解像度4096 x 3000の60個の同期カメラと15fpsの速度,ステルカメラキャリブレーションステップを含む,データをキャプチャするプロフェッショナルなマルチビューシステムを構築した。
  論文  参考訳（メタデータ） (2023-07-19T17:58:03Z)
• SIDAR: Synthetic Image Dataset for Alignment & Restoration [2.9649783577150837]
  エンドツーエンドのディープラーニングモデルのトレーニングと評価に十分なデータを提供するデータセットが不足している。 提案したデータ拡張は,3次元レンダリングを用いてデータの不足を克服するのに役立つ。 得られたデータセットは、画像アライメントとアーティファクト削除を含むさまざまなタスクのトレーニングと評価セットとして機能する。
  論文  参考訳（メタデータ） (2023-05-19T23:32:06Z)
• Fast Non-Rigid Radiance Fields from Monocularized Data [66.74229489512683]
  本稿では,不規則に変形するシーンを360度内向きに合成する新しい手法を提案する。 提案手法のコアとなるのは, 空間情報と時間情報の処理を分離し, 訓練と推論を高速化する効率的な変形モジュール, 2) 高速ハッシュ符号化ニューラルラジオアンスフィールドとしての標準シーンを表す静的モジュールである。 どちらの場合も,本手法は従来の手法よりもはるかに高速で,7分未満で収束し,1K解像度でリアルタイムのフレームレートを実現するとともに,生成した新規なビューに対して高い視覚的精度が得られる。
  論文  参考訳（メタデータ） (2022-12-02T18:51:10Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• ClevrTex: A Texture-Rich Benchmark for Unsupervised Multi-Object Segmentation [23.767094632640763]
  本稿では,アルゴリズムの比較,評価,分析を行うための次の課題として,ClevrTexを提案する。 ClarTexは、様々な形状、テクスチャ、フォトマップ素材を備えた合成シーンを特徴としている。 我々は、ClevrTex上で、最近の多数の教師なしマルチオブジェクトセグメンテーションモデルをベンチマークし、テクスチャ化された環境では、すべての最先端のアプローチが良い表現を学習できないことを発見した。
  論文  参考訳（メタデータ） (2021-11-19T15:11:25Z)
• SVIRO: Synthetic Vehicle Interior Rear Seat Occupancy Dataset and Benchmark [11.101588888002045]
  SVIROは10台の異なる車両の旅客室におけるシーンの合成データセットである。 限られたバリエーションに基づいて学習した際の一般化能力と信頼性について、機械学習に基づくアプローチを解析する。
  論文  参考訳（メタデータ） (2020-01-10T14:44:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。