論文の概要: iButter: Neural Interactive Bullet Time Generator for Human Free-viewpoint Rendering

• arxiv url: http://arxiv.org/abs/2108.05577v1
• Date: Thu, 12 Aug 2021 07:52:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-14 00:35:51.995196
• Title: iButter: Neural Interactive Bullet Time Generator for Human Free-viewpoint Rendering
• Title（参考訳）: iButter:人間の自由視点レンダリングのためのニューラルインタラクティブなブレットタイムジェネレータ
• Authors: Liao Wang, Ziyu Wang, Pei Lin, Yuheng Jiang, Xin Suo, Minye Wu, Lan Xu, Jingyi Yu
• Abstract要約: 本稿では,高密度RGBストリームからの光リアルな人間の自由視点レンダリングのためのニューラル対話型弾頭時間生成器(iButter)を提案する。 プレビュー期間中に,NeRFレンダリングをリアルタイムかつダイナミックな設定に拡張することで,対話型弾道設計手法を提案する。 改良中,20分以内の効率的な軌跡認識方式を導入し,人間の活動の写実的弾頭時間視聴体験を実現する。
• 参考スコア（独自算出の注目度）: 36.975827955498914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating ``bullet-time'' effects of human free-viewpoint videos is critical for immersive visual effects and VR/AR experience. Recent neural advances still lack the controllable and interactive bullet-time design ability for human free-viewpoint rendering, especially under the real-time, dynamic and general setting for our trajectory-aware task. To fill this gap, in this paper we propose a neural interactive bullet-time generator (iButter) for photo-realistic human free-viewpoint rendering from dense RGB streams, which enables flexible and interactive design for human bullet-time visual effects. Our iButter approach consists of a real-time preview and design stage as well as a trajectory-aware refinement stage. During preview, we propose an interactive bullet-time design approach by extending the NeRF rendering to a real-time and dynamic setting and getting rid of the tedious per-scene training. To this end, our bullet-time design stage utilizes a hybrid training set, light-weight network design and an efficient silhouette-based sampling strategy. During refinement, we introduce an efficient trajectory-aware scheme within 20 minutes, which jointly encodes the spatial, temporal consistency and semantic cues along the designed trajectory, achieving photo-realistic bullet-time viewing experience of human activities. Extensive experiments demonstrate the effectiveness of our approach for convenient interactive bullet-time design and photo-realistic human free-viewpoint video generation.
• Abstract（参考訳）: 人間の自由視点ビデオの ‘bullet-time’ 効果の生成は没入型視覚効果とVR/AR体験にとって重要である。 最近のニューラルアドバンスでは、人間の自由視点レンダリングのための制御可能で対話的な弾道設計能力が欠けており、特に軌道認識タスクのリアルタイム、動的、そして一般的な設定下にある。 このギャップを埋めるために、高密度RGBストリームからの光リアルな人間の自由視点レンダリングのためのニューラル・インタラクティブ・弾道時生成器(iButter)を提案し、人間の弾道時視覚効果の柔軟でインタラクティブな設計を可能にした。 当社のiButterアプローチは、リアルタイムプレビューとデザインのステージと、軌跡認識の洗練ステージで構成されています。 プレビュー期間中に,NeRFレンダリングをリアルタイムかつダイナミックな設定に拡張し,退屈なシーンごとのトレーニングを不要にすることで,対話型弾道設計手法を提案する。 この目的を達成するために,我々は,ハイブリッドトレーニングセット,軽量ネットワーク設計,効率的なシルエットベースのサンプリング戦略を用いる。 改良の過程では, 空間的, 時間的整合性, 意味的な手がかりを協調的に符号化し, 人間の活動の写実的弾頭時間体験を実現する, 20分以内の効率的な軌跡認識方式を導入する。 広汎な実験により,インタラクティブな弾頭時間設計と写真リアルな人間の自由視点映像生成のためのアプローチの有効性が示された。

関連論文リスト

• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• DynMF: Neural Motion Factorization for Real-time Dynamic View Synthesis with 3D Gaussian Splatting [35.69069478773709]
  動的シーンの点当たりの運動は、明示的あるいは学習的な軌跡の小さなセットに分解することができると論じる。 我々の表現は解釈可能であり、効率的であり、複雑な動的シーンの動きのリアルタイムなビュー合成を提供するのに十分な表現力を持っている。
  論文  参考訳（メタデータ） (2023-11-30T18:59:11Z)
• Instant-NVR: Instant Neural Volumetric Rendering for Human-object Interactions from Monocular RGBD Stream [14.844982083586306]
  Instant-NVRは,1台のRGBDカメラを用いて,物体追跡とレンダリングを瞬時に行うニューラルネットワークである。 トラッキングフロントエンドでは、十分な動作先を提供するために、頑健な人間オブジェクトキャプチャー方式を採用する。 また,移動優先探索による動的・静電放射場をオンザフライで再構築する手法も提案する。
  論文  参考訳（メタデータ） (2023-04-06T16:09:51Z)
• Trace and Pace: Controllable Pedestrian Animation via Guided Trajectory Diffusion [83.88829943619656]
  本研究では,現実的な歩行者軌跡生成手法と,ユーザ定義目標を達成するために制御可能なフルボディアニメーションを提案する。 我々のガイド付き拡散モデルでは,対象とする経路,速度,特定社会集団による軌道の制約が可能である。 本稿では,アニメーションコントローラのRLトレーニング中に学習した値関数を用いて,拡散を誘導し,特定のシナリオに適した軌道を生成することを提案する。
  論文  参考訳（メタデータ） (2023-04-04T15:46:42Z)
• Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
  高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。 最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。 アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
  論文  参考訳（メタデータ） (2023-03-23T00:15:34Z)
• Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering [34.80975358673563]
  本稿では,強靭なパフォーマンスキャプチャのためのパラメトリック人体モデルに基づいて,一般化可能なニューラルラジアンス場を学習する手法を提案する。 ZJU-MoCap と AIST のデータセットを用いた実験により,本手法は近頃の一般化可能な NeRF 法よりも顕著に優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-15T17:32:46Z)
• Few-shot Neural Human Performance Rendering from Sparse RGBD Videos [40.20382131461408]
  人間の活動に対する最近のニューラルレンダリングアプローチは、目覚ましいビューレンダリング結果を達成するが、それでもインプットビューの厳密なトレーニングに依存している。 本稿では、RGBD入力のみからFNHR(s fewshot Neural rendering approach)を提案し、光ビュー自由視点結果を生成する。
  論文  参考訳（メタデータ） (2021-07-14T06:28:16Z)
• Fast Training of Neural Lumigraph Representations using Meta Learning [109.92233234681319]
  我々は、リアルタイムにレンダリングできる高品質な表現を素早く学習することを目的として、新しいニューラルレンダリングアプローチを開発した。 われわれのアプローチであるMetaNLR++は、ニューラル形状表現と2次元CNNに基づく画像特徴抽出、集約、再投影のユニークな組み合わせを用いてこれを実現する。 そこで本研究では,MetaNLR++が類似あるいはより優れたフォトリアリスティックなノベルビュー合成を実現し,競合する手法が要求される時間のほんの少しの時間で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-28T18:55:50Z)
• Editable Free-viewpoint Video Using a Layered Neural Representation [35.44420164057911]
  我々は,スパース16カメラのみを用いた大規模ダイナミックシーンの編集可能な自由視点映像生成のための最初のアプローチを提案する。 私たちのアプローチの核心は、環境そのものを含む各動的エンティティがST-NeRFと呼ばれる時空コヒーレントな神経層放射線表現に定式化される新しい階層化された神経表現です。 実験は,ダイナミックシーンにおける高品質,フォトリアリスティック,編集可能な自由視点映像生成を実現するための手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-04-30T06:50:45Z)
• iGibson, a Simulation Environment for Interactive Tasks in Large Realistic Scenes [54.04456391489063]
  iGibsonは、大規模な現実的なシーンにおける対話的なタスクのためのロボットソリューションを開発するための、新しいシミュレーション環境である。 私たちの環境には、厳密で明瞭な物体が密集した15のインタラクティブなホームサイズシーンが含まれています。 iGibsonの機能はナビゲーションエージェントの一般化を可能にし、人間-iGibsonインターフェースと統合されたモーションプランナーは、単純な人間の実演行動の効率的な模倣学習を促進する。
  論文  参考訳（メタデータ） (2020-12-05T02:14:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。