論文の概要: TexAVi: Generating Stereoscopic VR Video Clips from Text Descriptions

• arxiv url: http://arxiv.org/abs/2501.01156v1
• Date: Thu, 02 Jan 2025 09:21:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:17:21.296347
• Title: TexAVi: Generating Stereoscopic VR Video Clips from Text Descriptions
• Title（参考訳）: TexAVi:テキスト記述から立体視VRビデオクリップを生成する
• Authors: Vriksha Srihari, R. Bhavya, Shruti Jayaraman, V. Mary Anita Rajam,
• Abstract要約: 本稿では,既存の生成システムを融合してテキストから立体視のバーチャルリアリティービデオを作成する手法を提案する。 私たちの研究は、バーチャルリアリティーシミュレーションのような分野において自然言語駆動グラフィックスを使うことのエキサイティングな可能性を強調します。
• 参考スコア（独自算出の注目度）: 0.562479170374811
• License:
• Abstract: While generative models such as text-to-image, large language models and text-to-video have seen significant progress, the extension to text-to-virtual-reality remains largely unexplored, due to a deficit in training data and the complexity of achieving realistic depth and motion in virtual environments. This paper proposes an approach to coalesce existing generative systems to form a stereoscopic virtual reality video from text. Carried out in three main stages, we start with a base text-to-image model that captures context from an input text. We then employ Stable Diffusion on the rudimentary image produced, to generate frames with enhanced realism and overall quality. These frames are processed with depth estimation algorithms to create left-eye and right-eye views, which are stitched side-by-side to create an immersive viewing experience. Such systems would be highly beneficial in virtual reality production, since filming and scene building often require extensive hours of work and post-production effort. We utilize image evaluation techniques, specifically Fr\'echet Inception Distance and CLIP Score, to assess the visual quality of frames produced for the video. These quantitative measures establish the proficiency of the proposed method. Our work highlights the exciting possibilities of using natural language-driven graphics in fields like virtual reality simulations.
• Abstract（参考訳）: テキスト・トゥ・イメージ、大規模言語モデル、テキスト・トゥ・ビデオなどの生成モデルは大きな進歩を遂げているが、トレーニングデータの不足や仮想環境における現実的な深度と動きの達成の複雑さのため、テキスト・トゥ・仮想現実性の拡張は未解明のままである。 本稿では,既存の生成システムを融合してテキストから立体視のバーチャルリアリティービデオを作成する手法を提案する。 まず、入力テキストからコンテキストをキャプチャするベーステキスト・ツー・イメージモデルから始める。 次に、生成した初歩的な画像に安定拡散を用いて、拡張リアリズムと全体的な品質を備えたフレームを生成する。 これらのフレームは深度推定アルゴリズムで処理され、左目と右目の両方のビューを生成します。 このようなシステムは、撮影やシーンビルディングに長時間の作業とポストプロダクションの労力を必要とすることが多いため、バーチャルリアリティー生産において非常に有益である。 画像評価技術、特にFr'echet Inception DistanceとCLIP Scoreを用いて、ビデオのフレームの視覚的品質を評価する。 これらの定量的測定により,提案手法の精度が確立される。 私たちの研究は、バーチャルリアリティーシミュレーションのような分野において自然言語駆動グラフィックスを使うことのエキサイティングな可能性を強調します。

関連論文リスト

• T-SVG: Text-Driven Stereoscopic Video Generation [87.62286959918566]
  本稿では,テキスト駆動ステレオビデオ生成(T-SVG)システムを紹介する。 テキストプロンプトを使用してビデオ生成を合理化し、参照ビデオを作成する。 これらのビデオは、3Dポイントのクラウドシーケンスに変換され、微妙なパララックス差のある2つの視点からレンダリングされる。
  論文  参考訳（メタデータ） (2024-12-12T14:48:46Z)
• TextToon: Real-Time Text Toonify Head Avatar from Single Video [34.07760625281835]
  乾燥可能なトーン化アバターを生成するためのTextToonを提案する。 短い単眼ビデオシーケンスとアバタースタイルに関する命令が与えられた場合,本モデルは高忠実度トーン化アバターを生成することができる。
  論文  参考訳（メタデータ） (2024-09-23T15:04:45Z)
• ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
  単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。 提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
  論文  参考訳（メタデータ） (2024-09-03T16:53:19Z)
• Scene123: One Prompt to 3D Scene Generation via Video-Assisted and Consistency-Enhanced MAE [22.072200443502457]
  Scene123は3次元シーン生成モデルであり,映像生成フレームワークを通じて現実性と多様性を保証する。 具体的には、入力画像(またはテキストから生成された画像)をワープして、隣接したビューをシミュレートし、MAEモデルで見えない領域を埋める。 生成したビューの細部やテクスチャの忠実度をさらに高めるため,映像生成モデルを用いて入力画像から得られた画像に対して,GANベースのロスを用いた。
  論文  参考訳（メタデータ） (2024-08-10T08:09:57Z)
• Re-Thinking Inverse Graphics With Large Language Models [51.333105116400205]
  逆グラフィックス -- イメージを物理変数に反転させ、レンダリングすると観察されたシーンの再現を可能にする -- は、コンピュータビジョンとグラフィックスにおいて根本的な課題である。 LLMを中心とした逆グラフフレームワークである逆グラフ大言語モデル(IG-LLM)を提案する。 我々は、凍結した事前学習されたビジュアルエンコーダと連続的な数値ヘッドを組み込んで、エンドツーエンドのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2024-04-23T16:59:02Z)
• SceneScape: Text-Driven Consistent Scene Generation [14.348512536556413]
  本稿では,事前学習したテキスト・ツー・イメージモデルと事前学習した単眼深度予測モデルを組み合わせることで,このような動画をオンライン形式で生成する新しいフレームワークを提案する。 3次元の整合性を達成するための重要な課題に対処するため、オンラインテストタイムトレーニングを展開、現在のフレームの予測深度マップが合成シーンと幾何的に整合するように促す。 限定的な領域のみに適用できる以前の作品とは対照的に,本手法では,宇宙船や洞窟,あるいは氷の城の歩行など,多様な場面を創出する。
  論文  参考訳（メタデータ） (2023-02-02T14:47:19Z)
• Evaluating Continual Learning Algorithms by Generating 3D Virtual Environments [66.83839051693695]
  連続学習とは、人間や動物が特定の環境で徐々に学習する能力である。 本稿では3次元仮想環境の最近の進歩を活用して,フォトリアリスティックな外観を持つ潜在的に長寿命な動的シーンの自動生成にアプローチすることを提案する。 本論文の新たな要素は、シーンがパラメトリックな方法で記述され、エージェントが知覚する入力ストリームの視覚的複雑さを完全に制御できることである。
  論文  参考訳（メタデータ） (2021-09-16T10:37:21Z)
• Video Generation from Text Employing Latent Path Construction for Temporal Modeling [70.06508219998778]
  ビデオ生成は、機械学習とコンピュータビジョンの分野における最も困難なタスクの1つである。 本稿では,映像生成の条件形式であるテキストから映像生成の問題に取り組む。 自然言語文からのビデオ生成が人工知能に重要な影響を与えると考えている。
  論文  参考訳（メタデータ） (2021-07-29T06:28:20Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)
• TiVGAN: Text to Image to Video Generation with Step-by-Step Evolutionary Generator [34.7504057664375]
  本稿では、フレーム単位で進化し、最終的にフル長のビデオを生成する新しいトレーニングフレームワーク、Text-to-Image-to-Video Generative Adversarial Network (TiVGAN)を提案する。 ステップバイステップの学習プロセスは、トレーニングの安定化を支援し、条件付きテキスト記述に基づく高解像度ビデオの作成を可能にする。
  論文  参考訳（メタデータ） (2020-09-04T06:33:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。