論文の概要: Painting Many Pasts: Synthesizing Time Lapse Videos of Paintings

• arxiv url: http://arxiv.org/abs/2001.01026v2
• Date: Sat, 25 Apr 2020 22:20:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 12:59:15.434179
• Title: Painting Many Pasts: Synthesizing Time Lapse Videos of Paintings
• Title（参考訳）: 過去の絵画:絵画のタイムラプス映像を合成する
• Authors: Amy Zhao, Guha Balakrishnan, Kathleen M. Lewis, Fr\'edo Durand, John V. Guttag, Adrian V. Dalca
• Abstract要約: 我々は,ある絵画がどう作られたかを示すタイムラプス映像を合成する,新しいビデオ合成タスクを導入する。 本稿では,完成した絵画の1つの像が与えられた場合,その工程のステップを連続的に合成する確率モデルを提案する。 我々は,このモデルを多くの時間ステップのサンプリングに利用し,長期ビデオ合成を可能にすることを実証した。
• 参考スコア（独自算出の注目度）: 23.99927916916298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a new video synthesis task: synthesizing time lapse videos depicting how a given painting might have been created. Artists paint using unique combinations of brushes, strokes, and colors. There are often many possible ways to create a given painting. Our goal is to learn to capture this rich range of possibilities. Creating distributions of long-term videos is a challenge for learning-based video synthesis methods. We present a probabilistic model that, given a single image of a completed painting, recurrently synthesizes steps of the painting process. We implement this model as a convolutional neural network, and introduce a novel training scheme to enable learning from a limited dataset of painting time lapses. We demonstrate that this model can be used to sample many time steps, enabling long-term stochastic video synthesis. We evaluate our method on digital and watercolor paintings collected from video websites, and show that human raters find our synthetic videos to be similar to time lapse videos produced by real artists. Our code is available at https://xamyzhao.github.io/timecraft.
• Abstract（参考訳）: 我々は,ある絵画がどう作られたかを示すタイムラプス映像を合成する,新しいビデオ合成タスクを導入する。 アーティストはブラシ、ストローク、カラーのユニークな組み合わせを使って絵を描く。 多くの場合、特定の絵画を作成する多くの方法があります。 私たちの目標は、この豊富な可能性をつかむことを学ぶことです。 長期ビデオの配信を作成することは、学習に基づくビデオ合成手法の課題である。 本稿では,完成した絵画の1つのイメージを与えられた場合,絵画過程のステップを反復的に合成する確率モデルを提案する。 本稿では,このモデルを畳み込みニューラルネットワークとして実装し,絵画時間経過の限られたデータセットから学習できる新しいトレーニング手法を提案する。 我々は,このモデルを用いて多くの時間ステップをサンプリングし,長期の確率的映像合成を可能にすることを実証する。 ビデオWebサイトから収集したデジタルおよび水彩画について,本手法の評価を行い,実際のアーティストが制作したタイムラプスビデオに類似した合成ビデオを見出した。 私たちのコードはhttps://xamyzhao.github.io/timecraftで利用可能です。

関連論文リスト

• Inverse Painting: Reconstructing The Painting Process [24.57538165449989]
  我々はこれを自己回帰画像生成問題として定式化し、初期空白の「キャンバス」を反復的に更新する。 モデルは、多くのペイントビデオのトレーニングによって、実際のアーティストから学習する。
  論文  参考訳（メタデータ） (2024-09-30T17:56:52Z)
• Lumiere: A Space-Time Diffusion Model for Video Generation [75.54967294846686]
  本研究では,一度にビデオ全体の時間的持続時間を生成する空間時間U-Netアーキテクチャを提案する。 これは、遠方から後続の時間超解像を合成する既存のビデオモデルとは対照的である。 空間的および(重要な)時間的ダウンサンプリングとアップサンプリングの両方をデプロイすることで、我々のモデルは、フルフレームレートで低解像度のビデオを直接生成することを学ぶ。
  論文  参考訳（メタデータ） (2024-01-23T18:05:25Z)
• WAIT: Feature Warping for Animation to Illustration video Translation using GANs [12.681919619814419]
  ビデオのスタイリングにおいて,未順序画像の集合を用いる場合の新たな問題を提案する。 映像から映像への翻訳のほとんどは、画像から画像への翻訳モデルに基づいて構築されている。 本稿では,従来の手法の限界を克服する特徴変形層を有する新しいジェネレータネットワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T19:45:24Z)
• Hierarchical Masked 3D Diffusion Model for Video Outpainting [20.738731220322176]
  映像出力のためのマスク付き3次元拡散モデルを提案する。 これにより、複数のビデオクリップ推論の結果を接続するために、複数のガイドフレームを使用することができます。 また, アーティファクトの蓄積問題を緩和するために, 粗大から粗大の推論パイプラインも導入する。
  論文  参考訳（メタデータ） (2023-09-05T10:52:21Z)
• Towards Smooth Video Composition [59.134911550142455]
  ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。 本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。 単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-12-14T18:54:13Z)
• Paint2Pix: Interactive Painting based Progressive Image Synthesis and Editing [23.143394242978125]
  paint2pixは、初歩的なブラシストローク入力から"ユーザが描きたいもの"を予測することを学ぶ。 paint2pixは、スクラッチからプログレッシブな画像合成に使用できる。 私たちのアプローチは、実際の画像編集にも驚くほど便利なアプローチを形成しています。
  論文  参考訳（メタデータ） (2022-08-17T06:08:11Z)
• StyleVideoGAN: A Temporal Generative Model using a Pretrained StyleGAN [70.31913835035206]
  本稿では,映像合成問題に対する新しいアプローチを提案する。 トレーニング済みのStyleGANネットワークを利用することで、トレーニング対象の外観を制御できます。 我々の時間的アーキテクチャは、RGBフレームのシーケンスではなく、StyleGANの潜在符号のシーケンスに基づいて訓練される。
  論文  参考訳（メタデータ） (2021-07-15T09:58:15Z)
• Strumming to the Beat: Audio-Conditioned Contrastive Video Textures [112.6140796961121]
  コントラスト学習を通して学習した表現を用いた無限ビデオテクスチャ合成のための非パラメトリック手法を提案する。 ビデオテクスチャから着想を得た結果、新しいビデオは1つのビデオから、新しくて一貫性のある順序でフレームを縫い合わせることで生成できることがわかった。 我々のモデルは人間の知覚スコアのベースラインを上回り、多様な入力ビデオを扱うことができ、音声信号とよく同期する映像を合成するために意味と音声の視覚的手がかりを組み合わせることができる。
  論文  参考訳（メタデータ） (2021-04-06T17:24:57Z)
• Learning Joint Spatial-Temporal Transformations for Video Inpainting [58.939131620135235]
  本稿では,ビデオインペイントのためのSTTN (Spatial-Temporal Transformer Network) を提案する。 我々は,全ての入力フレームの欠落領域を自己注意で同時に埋めるとともに,空間空間的対角損失によるSTTNの最適化を提案する。
  論文  参考訳（メタデータ） (2020-07-20T16:35:48Z)
• Compositional Video Synthesis with Action Graphs [112.94651460161992]
  アクションのビデオは、空間と時間の豊富な構成構造を含む複雑な信号である。 本稿では、アクショングラフと呼ばれるグラフ構造におけるアクションを表現し、新しいアクショングラフ・トゥ・ビデオ合成タスクを提案する。 このタスクのための生成モデル(AG2Vid)は、動作と外観の特徴を歪め、アクションのスケジューリング機構を組み込むことで、タイムリーかつ協調的なビデオ生成を容易にする。
  論文  参考訳（メタデータ） (2020-06-27T09:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。