論文の概要: ChatCam: Empowering Camera Control through Conversational AI

• arxiv url: http://arxiv.org/abs/2409.17331v1
• Date: Wed, 25 Sep 2024 20:13:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-09-30 12:15:34.925259
• Title: ChatCam: Empowering Camera Control through Conversational AI
• Title（参考訳）: ChatCam:会話型AIによるカメラ制御の強化
• Authors: Xinhang Liu, Yu-Wing Tai, Chi-Keung Tang,
• Abstract要約: ChatCamは、ユーザーとの会話を通じてカメラの動きをナビゲートするシステムである。 そこで本研究では,テキスト条件付きカメラ軌道生成のためのGPTに基づく自己回帰モデルであるCineGPTを提案する。 また、正確なカメラ軌道配置を保証するアンカー決定器も開発した。
• 参考スコア（独自算出の注目度）: 67.31920821192323
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Cinematographers adeptly capture the essence of the world, crafting compelling visual narratives through intricate camera movements. Witnessing the strides made by large language models in perceiving and interacting with the 3D world, this study explores their capability to control cameras with human language guidance. We introduce ChatCam, a system that navigates camera movements through conversations with users, mimicking a professional cinematographer's workflow. To achieve this, we propose CineGPT, a GPT-based autoregressive model for text-conditioned camera trajectory generation. We also develop an Anchor Determinator to ensure precise camera trajectory placement. ChatCam understands user requests and employs our proposed tools to generate trajectories, which can be used to render high-quality video footage on radiance field representations. Our experiments, including comparisons to state-of-the-art approaches and user studies, demonstrate our approach's ability to interpret and execute complex instructions for camera operation, showing promising applications in real-world production settings.
• Abstract（参考訳）: 撮影者は、複雑なカメラの動きを通して魅力的な視覚的物語を制作し、世界の本質を巧みに捉えている。 本研究は,大規模言語モデルによる3次元世界に対する知覚と相互作用の歩みを目撃し,人間の言語指導によるカメラ制御能力について検討した。 本稿では,プロの撮影技師のワークフローを模倣して,ユーザとの会話を通じてカメラの動きをナビゲートするChatCamを紹介する。 そこで本研究では,テキスト条件付きカメラ軌道生成のためのGPTに基づく自己回帰モデルであるCineGPTを提案する。 また、正確なカメラ軌道配置を保証するアンカー決定器も開発した。 ChatCamはユーザの要求を理解し,提案したツールを用いてトラジェクトリを生成する。 我々の実験は、最先端のアプローチとユーザスタディとの比較を含む、我々のアプローチがカメラ操作のための複雑な命令を解釈し実行できることを示し、現実のプロダクション環境で有望な応用を示す。

関連論文リスト

• Towards Understanding Camera Motions in Any Video [80.223048294482]
  我々は、カメラモーション理解の評価と改善を目的とした大規模なデータセットとベンチマークであるCameraBenchを紹介する。 CameraBenchは、厳格な品質管理プロセスを通じて専門家によって注釈付けされた3,000の多様なインターネットビデオで構成されている。 私たちの貢献の1つは、撮影者との共同で設計されたカメラモーションプリミティブの分類である。
  論文  参考訳（メタデータ） (2025-04-21T18:34:57Z)
• GenDoP: Auto-regressive Camera Trajectory Generation as a Director of Photography [98.28272367169465]
  本稿では,写真監督の専門知識にインスパイアされた自己回帰モデルを導入し,芸術的かつ表現的なカメラトラジェクトリを生成する。 包括的で多様なデータベースのおかげで、高品質でコンテキスト対応のカメラムーブメント生成のための自動回帰デコーダのみのトランスフォーマーをトレーニングします。 実験により、既存の手法と比較して、GenDoPはより良い制御性、よりきめ細かい軌道調整、より高い運動安定性を提供することが示された。
  論文  参考訳（メタデータ） (2025-04-09T17:56:01Z)
• RealCam-I2V: Real-World Image-to-Video Generation with Interactive Complex Camera Control [10.939379611590333]
  RealCam-I2Vは拡散型ビデオ生成フレームワークである。 単分子距離深度推定を統合し、前処理ステップで3次元シーン再構成を確立する。 トレーニング中、再構成された3Dシーンは、絶対値に対するカメラパラメータのスケーリングを可能にする。 RealCam-I2Vは、RealEstate10Kおよびドメイン外画像の制御性とビデオ品質を大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-14T10:21:49Z)
• CineMaster: A 3D-Aware and Controllable Framework for Cinematic Text-to-Video Generation [76.72787726497343]
  CineMasterは3D認識と制御可能なテキスト・ビデオ生成のためのフレームワークである。 私たちのゴールは、プロの映画監督と同等のコントロール性を持つユーザーを力づけることです。
  論文  参考訳（メタデータ） (2025-02-12T18:55:36Z)
• AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers [66.29824750770389]
  カメラの動きを第一原理の観点から分析し、正確な3Dカメラ操作を可能にする洞察を明らかにする。 これらの知見を合成して、高度な3Dカメラ制御(AC3D)アーキテクチャを設計する。
  論文  参考訳（メタデータ） (2024-11-27T18:49:13Z)
• CinePreGen: Camera Controllable Video Previsualization via Engine-powered Diffusion [29.320516135326546]
  CinePreGenは、エンジン駆動の拡散で強化された視覚前処理システムである。 グローバルなカメラ調整からローカルなカメラ調整まで、ダイナミックなコントロールを提供する新しいカメラとストーリーボードインターフェースを備えている。
  論文  参考訳（メタデータ） (2024-08-30T17:16:18Z)
• VD3D: Taming Large Video Diffusion Transformers for 3D Camera Control [74.5434726968562]
  Plucker座標に基づく制御ネットライクなコンディショニング機構を用いた3次元カメラ制御のためのトランスフォーマー映像を試作する。 我々の研究は、トランスフォーマーに基づくビデオ拡散モデルのカメラ制御を可能にする最初のものである。
  論文  参考訳（メタデータ） (2024-07-17T17:59:05Z)
• E.T. the Exceptional Trajectories: Text-to-camera-trajectory generation with character awareness [9.79206550593288]
  本稿では,文字情報とテキストキャプションとともに,カメラトラジェクトリを用いた例外トラジェクトリ (E.T.) と呼ばれるデータセットを提案する。 私たちの知る限りでは、この種のデータセットとしてはこれが初めてのものです。 E.T.データセットの潜在的な応用を示すために、DIRECTORという拡散に基づくアプローチを提案する。 評価指標にContrastive Language-Trajectory 埋め込みである E.T. データセット CLaTr をトレーニングする。
  論文  参考訳（メタデータ） (2024-07-01T17:58:02Z)
• Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
  映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。 イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
  論文  参考訳（メタデータ） (2024-06-21T17:55:05Z)
• CamCo: Camera-Controllable 3D-Consistent Image-to-Video Generation [117.16677556874278]
  我々はCamCoを導入し、細粒度カメラのポーズ制御を画像からビデオへ生成する。 生成したビデオの3D一貫性を高めるため,各アテンションブロックにエピポーラアテンションモジュールを統合する。 実験の結果,CamCoは従来のモデルに比べて3次元の整合性とカメラ制御能力を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-04T17:27:19Z)
• Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis [43.02778060969546]
  制御可能な単分子動的ビュー合成パイプラインを提案する。 我々のモデルは入力として深度を必要としないし、明示的に3次元シーン形状をモデル化しない。 私たちのフレームワークは、リッチな動的シーン理解、ロボット工学の知覚、バーチャルリアリティのためのインタラクティブな3Dビデオ視聴体験において、強力なアプリケーションをアンロックできる可能性があると考えています。
  論文  参考訳（メタデータ） (2024-05-23T17:59:52Z)
• CameraCtrl: Enabling Camera Control for Text-to-Video Generation [86.36135895375425]
  ユーザーが希望するコンテンツを作成することができるため、ビデオ生成において制御性は重要な役割を担っている。 既存のモデルは、撮影言語として機能するカメラポーズの正確な制御をほとんど見落としていた。 我々は、テキスト・トゥ・ビデオ(T2V)モデルの正確なカメラポーズ制御を可能にするCameraCtrlを紹介する。
  論文  参考訳（メタデータ） (2024-04-02T16:52:41Z)
• Real-Time Neural Character Rendering with Pose-Guided Multiplane Images [75.62730144924566]
  リアルなシーンでアニマタブルなキャラクタをフォトリアリスティックな画質でレンダリングできるポーズ誘導多面体画像(MPI)合成を提案する。 我々は、移動物体の駆動信号とともに多視点画像をキャプチャするために、ポータブルカメラリグを使用します。
  論文  参考訳（メタデータ） (2022-04-25T17:51:38Z)
• Batteries, camera, action! Learning a semantic control space for expressive robot cinematography [15.895161373307378]
  我々は,意味空間における複雑なカメラ位置決めパラメータの編集を可能にする,データ駆動型フレームワークを開発した。 まず,写真実写シミュレータにおいて,多様な撮影範囲を持つ映像クリップのデータベースを作成する。 クラウドソーシングフレームワークには何百人もの参加者が参加して,各クリップのセマンティック記述子セットのスコアを取得しています。
  論文  参考訳（メタデータ） (2020-11-19T21:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。