論文の概要: Batteries, camera, action! Learning a semantic control space for
expressive robot cinematography
- arxiv url: http://arxiv.org/abs/2011.10118v2
- Date: Wed, 31 Mar 2021 21:15:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-23 20:51:27.107363
- Title: Batteries, camera, action! Learning a semantic control space for
expressive robot cinematography
- Title(参考訳): バッテリー、カメラ、アクション!
表現型ロボット撮影のための意味制御空間の学習
- Authors: Rogerio Bonatti, Arthur Bucker, Sebastian Scherer, Mustafa Mukadam and
Jessica Hodgins
- Abstract要約: 我々は,意味空間における複雑なカメラ位置決めパラメータの編集を可能にする,データ駆動型フレームワークを開発した。
まず,写真実写シミュレータにおいて,多様な撮影範囲を持つ映像クリップのデータベースを作成する。
クラウドソーシングフレームワークには何百人もの参加者が参加して,各クリップのセマンティック記述子セットのスコアを取得しています。
- 参考スコア(独自算出の注目度): 15.895161373307378
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Aerial vehicles are revolutionizing the way film-makers can capture shots of
actors by composing novel aerial and dynamic viewpoints. However, despite great
advancements in autonomous flight technology, generating expressive camera
behaviors is still a challenge and requires non-technical users to edit a large
number of unintuitive control parameters. In this work, we develop a
data-driven framework that enables editing of these complex camera positioning
parameters in a semantic space (e.g. calm, enjoyable, establishing). First, we
generate a database of video clips with a diverse range of shots in a
photo-realistic simulator, and use hundreds of participants in a crowd-sourcing
framework to obtain scores for a set of semantic descriptors for each clip.
Next, we analyze correlations between descriptors and build a semantic control
space based on cinematography guidelines and human perception studies. Finally,
we learn a generative model that can map a set of desired semantic video
descriptors into low-level camera trajectory parameters. We evaluate our system
by demonstrating that our model successfully generates shots that are rated by
participants as having the expected degrees of expression for each descriptor.
We also show that our models generalize to different scenes in both simulation
and real-world experiments. Data and video found at:
https://sites.google.com/view/robotcam.
- Abstract(参考訳): 航空車両は、新しい空中とダイナミックな視点を作り上げることで、映画製作者が俳優を撮影する方法に革命をもたらしている。
しかし、自律飛行技術の進歩にもかかわらず、表現力のあるカメラの動作を生成することは依然として課題であり、非技術ユーザーは多数の直感的な制御パラメータを編集する必要がある。
本研究では,これらの複雑なカメラ位置決めパラメータをセマンティクス空間(例えば,落ち着き,楽しみ,確立)で編集できるデータ駆動型フレームワークを開発した。
まず,写真実写シミュレータで多種多様なショットを収録したビデオクリップのデータベースを作成し,クラウドソーシングフレームワークで何百人もの参加者を用いて,各クリップのセマンティック記述子セットのスコアを取得する。
次に,ディスクリプタ間の相関を分析し,シネマトグラフィーガイドラインと人間の知覚研究に基づいて意味的制御空間を構築する。
最後に、所望のセマンティックビデオ記述子の集合を低レベルのカメラ軌道パラメータにマッピングできる生成モデルについて学習する。
提案システムは,各記述子に対して期待できる表現度を有するとして,参加者が評価したショットを,モデルが生成できることを実証することによって評価する。
また,シミュレーションと実世界の実験の両方において,モデルが異なる場面に一般化することを示した。
データとビデオはhttps://sites.google.com/view/robotcam.comにある。
関連論文リスト
- Any-point Trajectory Modeling for Policy Learning [67.45990463611942]
我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。
ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。
本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
論文 参考訳(メタデータ) (2023-12-28T23:34:43Z) - Learning Interactive Real-World Simulators [107.12907352474005]
生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。
シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。
ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
論文 参考訳(メタデータ) (2023-10-09T19:42:22Z) - High-Degrees-of-Freedom Dynamic Neural Fields for Robot Self-Modeling
and Motion Planning [7.358994636133107]
ロボットの自己モデル(英: Robot self-model)は、ロボットの運動計画タスクに使用できる身体形態の表現である。
我々は、ニューラルネットワークを利用して、ロボットがキネマティクスをニューラルネットワーククエリモデルとして自己モデル化できるようにする。
7-DOFロボットテストでは、学習した自己モデルは、ロボットの寸法の2%のChamfer-L2距離を達成する。
論文 参考訳(メタデータ) (2023-10-05T16:01:29Z) - Learn the Force We Can: Enabling Sparse Motion Control in Multi-Object
Video Generation [26.292052071093945]
単一のフレームとスパース動作入力からビデオを生成する教師なしの手法を提案する。
我々の訓練されたモデルは、目に見えない現実的なオブジェクト間相互作用を生成できる。
ヨダは、制御性と映像品質の両面において、先行するアートビデオ生成の状況と同等かそれ以上であることを示す。
論文 参考訳(メタデータ) (2023-06-06T19:50:02Z) - Visual Affordance Prediction for Guiding Robot Exploration [56.17795036091848]
我々は,ロボット探索を導くための視覚能力の学習手法を開発した。
VQ-VAEの潜伏埋め込み空間における条件分布の学習にはTransformerベースのモデルを用いる。
本稿では,ロボット操作における視覚的目標条件付きポリシー学習において,目標サンプリング分布として機能することで探索を導くために,トレーニングされた余裕モデルをどのように利用できるかを示す。
論文 参考訳(メタデータ) (2023-05-28T17:53:09Z) - Dynamic Storyboard Generation in an Engine-based Virtual Environment for
Video Production [92.14891282042764]
VDS(Virtual Dynamic Storyboard)を導入し,仮想環境でのストーリーボード撮影を可能にする。
形式化されたストーリースクリプトとカメラスクリプトが入力として与えられたら、いくつかのキャラクターアニメーションとカメラムーブメント提案を生成する。
候補から高品質なダイナミックなストーリーボードをピックアップするために,プロのマニュアル作成データから学習したショット品質基準に基づいて,ショットランキング判別器を装備する。
論文 参考訳(メタデータ) (2023-01-30T06:37:35Z) - Lift, Splat, Shoot: Encoding Images From Arbitrary Camera Rigs by
Implicitly Unprojecting to 3D [100.93808824091258]
本稿では,任意の数のカメラから映像データを与えられたシーンの鳥眼ビュー表現を直接抽出するエンド・ツー・エンドアーキテクチャを提案する。
我々のアプローチは、それぞれの画像をそれぞれのカメラのフラストラムに個別に“リフト”し、すべてのフラストラムを鳥の目視格子に“プレート”することです。
提案モデルにより推定される表現は,テンプレートトラジェクトリを鳥眼ビューのコストマップに"撮影"することで,終末動作計画の解釈を可能にすることを示す。
論文 参考訳(メタデータ) (2020-08-13T06:29:01Z) - SurfelGAN: Synthesizing Realistic Sensor Data for Autonomous Driving [27.948417322786575]
本稿では,現実的なシナリオセンサデータを生成するための,シンプルで効果的な手法を提案する。
われわれのアプローチでは、テクスチャマップされたサーフを使用して、初期車両のパスやセットのパスからシーンを効率的に再構築する。
次に、SurfelGANネットワークを利用して、現実的なカメライメージを再構築し、自動運転車の新たな位置と方向を推定する。
論文 参考訳(メタデータ) (2020-05-08T04:01:14Z) - Footprints and Free Space from a Single Color Image [32.57664001590537]
入力として1つのRGB画像が与えられた場合、可視面と隠蔽面の両方の形状を予測するモデルを導入する。
ステレオビデオシーケンスから、カメラポーズ、フレームごとの深さ、セマンティックセグメンテーションを用いて学習し、トレーニングデータを形成する。
トレーニングシーンの空間的カバレッジには驚くほど低いバーが必要であることが分かりました。
論文 参考訳(メタデータ) (2020-04-14T09:29:17Z) - Learning a generative model for robot control using visual feedback [7.171234436165255]
本稿では,ロボット制御に視覚フィードバックを取り入れた新しい定式化を提案する。
モデルにおける推論により,特徴のターゲット位置に対応するロボット状態を推測することができる。
本研究では,不正確な制御を行うロボットに対して,握りとタイトな挿入を実行することで,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2020-03-10T00:34:01Z) - Learning Predictive Models From Observation and Interaction [137.77887825854768]
世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。
しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。
本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
論文 参考訳(メタデータ) (2019-12-30T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。