論文の概要: TKCAM: Text and Keyframe to Camera Trajectory Generation

• arxiv url: http://arxiv.org/abs/2610.11105v1
• Date: Thu, 08 Oct 2026 02:20:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.740301
• Title: TKCAM: Text and Keyframe to Camera Trajectory Generation
• Title（参考訳）: TKCAM: テキストとキーフレームからカメラ軌道生成
• Abstract要約: TKCAM (TKCAM) は、テキストおよびキーフレーム条件のCAMeraモーション合成フレームワークである。 我々は12次元の特徴を用いてカメラのダイナミクスを表現し、それらを階層的な動きトークンに識別する。 ユーザーは、選択したタイムスタンプでのRGB観察とともに、自由形式のテキストプロンプトを提供することができる。
• 参考スコア（独自算出の注目度）: 53.76976894442313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating high-quality and controllable camera motion is essential for AI-assisted cinematography, video synthesis, and 3D scene understanding. We introduce TKCAM, a Text- and Keyframe-conditioned CAMera-motion synthesis framework based on generative masked modeling. We represent camera dynamics using a 12-dimensional kinematic feature comprising position, velocity, and a continuous rotation representation and discretize them into hierarchical motion tokens via a Residual Vector Quantizer (RVQ). A two-stage masked transformer architecture then learns to reconstruct and refine these tokens, utilizing explicit self- and cross-attention modules for multimodal conditioning. A central feature of our framework is sparse visual keyframe conditioning: users can provide free-form text prompts together with RGB observations at selected timestamps, which provide temporally localized visual guidance for generating coherent in-between trajectories. Furthermore, to advance evaluation standards, we curate RealEstate10K-Cap, a large-scale text-camera dataset, and establish a cross-domain benchmark with a Universal CLaTr Evaluator. Extensive experiments demonstrate that TKCAM surpasses recent state-of-the-art baselines on Fréchet distance (FID), text-motion matching scores, and retrieval metrics (R@K), while additional analyses evaluate temporal smoothness and cross-domain generalization. Code is available at https://github.com/linearalgebrayhz/TKCAM.
• Abstract（参考訳）: 高品質で制御可能なカメラモーションの生成は、AI支援撮影、ビデオ合成、および3Dシーン理解に不可欠である。 生成マスクモデルに基づくテキストおよびキーフレーム条件のCAMeraモーション合成フレームワークであるTKCAMを紹介する。 位置、速度、連続的な回転表現を含む12次元キネマティック特徴を用いてカメラダイナミクスを表現し、Residual Vector Quantizer (RVQ)を介して階層的な動きトークンに識別する。 2段階のマスク付きトランスフォーマーアーキテクチャは、これらのトークンの再構築と洗練を学習し、明示的な自己および横断的なモジュールを用いてマルチモーダル条件付けを行う。 本フレームワークの中心となる特徴は、自由形式のテキストプロンプトと、選択したタイムスタンプでのRGB観測を同時に提供し、コヒーレントな軌跡を生成するための時間的局所的な視覚的ガイダンスを提供することである。 さらに,評価基準を向上するために,大規模なテキストカメラデータセットであるRealEstate10K-Capをキュレートし,Universal CLaTr評価器を用いたクロスドメインベンチマークを確立する。 TKCAMはFréchet distance(FID)、テキストモーションマッチングスコア、検索指標(R@K)の最近の最先端ベースラインを超越し、時間的滑らかさとドメイン横断の一般化を評価する。 コードはhttps://github.com/linearalgebrayhz/TKCAMで入手できる。

関連論文リスト

• RESUME: Recurrent State Updates from Motion and Residual Signals for Efficient Video Language Modeling [30.582448005780435]
  コーデック対応のフロントエンドは、生成した動きベクトルと残差を読み取るが、その配置形式では、各予測フレームは、それ自体でトークン化されている。 我々は、より自然な関数は、現在のプリミティブと持ち込まれた参照の両方であると主張する。 我々は、ステートフルな表現であるRESUMEを紹介します: 初期化状態のアンカーフレーム、その後のフレームは、その状態の更新として消費され、共有読み出しは、蓄積された状態から VideoLM互換のトークンを公開します。
  論文  参考訳（メタデータ） (2026-09-30T12:00:41Z)
• UCM: Unifying Camera Control and Memory with Time-aware Positional Encoding Warping for World Models [54.564740558030245]
  UCMは、長期記憶と正確なカメラ制御をタイムアウェアな位置符号化変換機構を介して統合する新しいフレームワークである。 我々はまた、ポイントクラウドベースのレンダリングを利用したスケーラブルなデータキュレーション戦略を導入し、シーンの再考をシミュレートする。
  論文  参考訳（メタデータ） (2026-02-26T12:54:46Z)
• FRAME: Pre-Training Video Feature Representations via Anticipation and Memory [55.046881477209695]
  FRAMEは、高密度ビデオ理解に適した自己監督型ビデオフレームエンコーダである。 同社は、過去と現在のRGBフレームから現在と将来のDINOパッチ機能を予測することを学ぶ。 画像エンコーダや既存の自己監督型ビデオモデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-06-05T19:44:47Z)
• VideoMolmo: Spatio-Temporal Grounding Meets Pointing [66.19964563104385]
  VideoMolmoは、ビデオシーケンスのきめ細かいポインティングに適したモデルだ。 新しい仮面融合はSAM2を双方向の点伝播に用いている。 The generalization of VideoMolmo, we introduced VPoMolS-temporal, a challenge out-of-distribution benchmark across two real-world scenarios。
  論文  参考訳（メタデータ） (2025-06-05T17:59:29Z)
• Towards Efficient Real-Time Video Motion Transfer via Generative Time Series Modeling [7.3949576464066]
  本研究では,モーショントランスファー対応ビデオアプリケーションにおいて,帯域幅を大幅に最適化する深層学習フレームワークを提案する。 複雑な動きを効果的に捉えるために,キーポイントを検出することで動的物体を符号化する第1次運動モデル(FOMM)を用いる。 ビデオアニメーションと再構成のために, 平均絶対誤差, 共同埋め込み予測アーキテクチャ埋め込み距離, 構造類似度指数, 平均ペアワイズ変位の3つの指標を用いて, 実験結果を検証した。
  論文  参考訳（メタデータ） (2025-04-07T22:21:54Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• Siamese Network with Interactive Transformer for Video Object Segmentation [34.202137199782804]
  本稿では,SITVOSと呼ばれる対話型トランスフォーマーを設計したネットワークを提案し,過去のフレームから現在のフレームへの効果的なコンテキスト伝搬を実現する。 過去のフレームと現在のフレームの両方のバックボーン機能を抽出するためにバックボーンアーキテクチャを使用します。
  論文  参考訳（メタデータ） (2021-12-28T03:38:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。