論文の概要: FreeVS: Generative View Synthesis on Free Driving Trajectory

• arxiv url: http://arxiv.org/abs/2410.18079v1
• Date: Wed, 23 Oct 2024 17:59:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:55:39.278512
• Title: FreeVS: Generative View Synthesis on Free Driving Trajectory
• Title（参考訳）: FreeVS: 自由運転軌道上の生成ビュー合成
• Authors: Qitai Wang, Lue Fan, Yuqi Wang, Yuntao Chen, Zhaoxiang Zhang,
• Abstract要約: FreeVSは、実際の運転シーンで、無料の新しい軌跡のカメラビューを合成できる、新しい完全に生成的なアプローチである。 FreeVSは、新しいトラジェクトリの再構成プロセスや合成ビューなしで、バリデーションシーケンスに適用できる。
• 参考スコア（独自算出の注目度）: 55.49370963413221
• License:
• Abstract: Existing reconstruction-based novel view synthesis methods for driving scenes focus on synthesizing camera views along the recorded trajectory of the ego vehicle. Their image rendering performance will severely degrade on viewpoints falling out of the recorded trajectory, where camera rays are untrained. We propose FreeVS, a novel fully generative approach that can synthesize camera views on free new trajectories in real driving scenes. To control the generation results to be 3D consistent with the real scenes and accurate in viewpoint pose, we propose the pseudo-image representation of view priors to control the generation process. Viewpoint transformation simulation is applied on pseudo-images to simulate camera movement in each direction. Once trained, FreeVS can be applied to any validation sequences without reconstruction process and synthesis views on novel trajectories. Moreover, we propose two new challenging benchmarks tailored to driving scenes, which are novel camera synthesis and novel trajectory synthesis, emphasizing the freedom of viewpoints. Given that no ground truth images are available on novel trajectories, we also propose to evaluate the consistency of images synthesized on novel trajectories with 3D perception models. Experiments on the Waymo Open Dataset show that FreeVS has a strong image synthesis performance on both the recorded trajectories and novel trajectories. Project Page: https://freevs24.github.io/
• Abstract（参考訳）: エゴ車両の軌跡に沿ってカメラビューを合成することに焦点を当てた、既存のリコンストラクションに基づくシーン駆動の新規ビュー合成手法について検討した。 彼らの画像レンダリング性能は、記録された軌道から外れた視点で著しく劣化する。 実走行シーンにおける自由な新しい軌跡のカメラビューを合成する,新しい完全生成手法であるFreeVSを提案する。 実際のシーンと一致し、視点ポーズが正確である生成結果を制御するために、生成プロセスを制御するために、ビュー先行の擬似画像表現を提案する。 視点変換シミュレーションを擬似画像に適用し、各方向のカメラの動きをシミュレートする。 トレーニングが完了すると、FreeVSはリコンストラクションプロセスや新しいトラジェクトリの合成ビューなしで、バリデーションシーケンスに適用できる。 さらに,新たなカメラ合成と,視点の自由を重視した新規な軌跡合成という,運転シーンに適した2つの挑戦的ベンチマークを提案する。 また,新しい軌跡に基底的真理像が存在しないことを考慮し,新しい軌跡に合成された画像と3次元知覚モデルとの整合性を評価することを提案する。 Waymo Open Datasetの実験によると、FreeVSは記録された軌跡と新しい軌跡の両方で強力な画像合成性能を持つ。 Project Page: https://freevs24.github.io/

関連論文リスト

• Learning autonomous driving from aerial imagery [67.06858775696453]
  フォトグラムシミュレーターは、生成済みの資産を新しいビューに変換することによって、新しいビューを合成することができる。 我々は、ニューラルネットワーク場(NeRF)を中間表現として使用し、地上車両の視点から新しいビューを合成する。
  論文  参考訳（メタデータ） (2024-10-18T05:09:07Z)
• Forecasting Future Videos from Novel Views via Disentangled 3D Scene Representation [54.60804602905519]
  我々は、階層化されたシーン形状、動き予測、新しいビュー合成を一緒にモデル化することを目的として、絡み合った表現を学習する。 本手法では,2次元のシーンを3次元の点群に持ち上げることによって,シーン形状をシーンの動きから切り離す。 将来の3次元シーンの動作をモデル化するために,まず自我運動を予測し,その後に動的物体の残留運動を予測する2段階のアンタングル手法を提案する。
  論文  参考訳（メタデータ） (2024-07-31T08:54:50Z)
• TC4D: Trajectory-Conditioned Text-to-4D Generation [94.90700997568158]
  提案するTC4D: trajectory-conditioned text-to-4D 生成は,グローバルおよびローカルなコンポーネントへの移動を要因とする。 我々は,テキスト・ビデオ・モデルから,グローバルな軌跡に適合する局所的な変形を観察する。 提案手法は,任意の軌跡に沿ってアニメーションされたシーンの合成,構成シーンの生成,および生成した動きのリアリズムと量に対する大幅な改善を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:55:11Z)
• ReShader: View-Dependent Highlights for Single Image View-Synthesis [5.736642774848791]
  本稿では,ビュー合成過程を画素再構成と再配置の2つの独立したタスクに分割することを提案する。 再構成の過程では,1枚の画像を入力とし,新しいカメラに基づいてシェーディングを調整する。 そして、この再構成画像を既存のビュー合成法の入力として使用し、画素を移動させ、最終的な新規なビュー画像を生成する。
  論文  参考訳（メタデータ） (2023-09-19T15:23:52Z)
• Novel View Synthesis of Humans using Differentiable Rendering [50.57718384229912]
  我々は新しいポーズで人々の新しい視点を合成するための新しいアプローチを提案する。 我々の合成はヒトの骨格構造を表す拡散ガウス原始体を用いる。 これらのプリミティブをレンダリングすると、高次元の潜像が得られ、デコーダネットワークによってRGBイメージに変換される。
  論文  参考訳（メタデータ） (2023-03-28T10:48:33Z)
• Remote Sensing Novel View Synthesis with Implicit Multiplane Representations [26.33490094119609]
  暗黙的ニューラル表現の最近の進歩を活用して,新しいリモートセンシングビュー合成法を提案する。 リモートセンシング画像のオーバーヘッドと遠距離イメージングを考慮し,暗黙のマルチプレーン画像(MPI)表現とディープニューラルネットワークを組み合わせることで,3次元空間を表現する。 任意の新規ビューの画像は、再構成されたモデルに基づいて自由にレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-05-18T13:03:55Z)
• Free View Synthesis [100.86844680362196]
  本稿では,シーンの周囲に自由に分布する入力画像から新規なビュー合成手法を提案する。 本手法は,入力ビューの規則的な配置に依存しず,シーンを通して自由なカメラ運動のための画像の合成が可能であり,制約のない幾何学的レイアウトの一般的な場面で機能する。
  論文  参考訳（メタデータ） (2020-08-12T18:16:08Z)
• Continuous Object Representation Networks: Novel View Synthesis without Target View Supervision [26.885846254261626]
  連続オブジェクト表現ネットワーク(Continuous Object Representation Networks、CORN)は、入力画像の幾何学と外観を3D一貫したシーン表現にマッピングする条件付きアーキテクチャである。 CORNは、新しいビューの合成やシングルビューの3D再構成、そして直接監督を使用する最先端のアプローチに匹敵するパフォーマンスといった挑戦的なタスクでうまく機能する。
  論文  参考訳（メタデータ） (2020-07-30T17:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。