論文の概要: The Animation Transformer: Visual Correspondence via Segment Matching
- arxiv url: http://arxiv.org/abs/2109.02614v1
- Date: Mon, 6 Sep 2021 17:23:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-07 16:50:44.830954
- Title: The Animation Transformer: Visual Correspondence via Segment Matching
- Title(参考訳): アニメーション変換器:セグメントマッチングによる視覚対応
- Authors: Evan Casey, V\'ictor P\'erez, Zhuoru Li, Harry Teitelman, Nick
Boyajian, Tim Pulver, Mike Manh, and William Grisaitis
- Abstract要約: アニメーショントランス(AnT)
AnTはトランスフォーマーベースのアーキテクチャを使用して、画像列間のセグメント間の空間的および視覚的関係を学習する。
AnTは、プロのアニメーションのための実用的で最先端のAI支援カラー化を可能にし、カドミウムのクリエイティブツールとして一般に公開されている。
- 参考スコア(独自算出の注目度): 2.8387322144750726
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual correspondence is a fundamental building block on the way to building
assistive tools for hand-drawn animation. However, while a large body of work
has focused on learning visual correspondences at the pixel-level, few
approaches have emerged to learn correspondence at the level of line enclosures
(segments) that naturally occur in hand-drawn animation. Exploiting this
structure in animation has numerous benefits: it avoids the intractable memory
complexity of attending to individual pixels in high resolution images and
enables the use of real-world animation datasets that contain correspondence
information at the level of per-segment colors. To that end, we propose the
Animation Transformer (AnT) which uses a transformer-based architecture to
learn the spatial and visual relationships between segments across a sequence
of images. AnT enables practical, state-of-art AI-assisted colorization for
professional animation workflows and is publicly accessible as a creative tool
in Cadmium.
- Abstract(参考訳): 視覚対応は手書きアニメーションの補助ツールを構築するための基本的なビルディングブロックである。
しかし、多数の作品がピクセルレベルで視覚対応を学習することに焦点を当てているが、手描きアニメーションで自然に発生する線囲い(セグメント)のレベルで対応を学ぶアプローチはほとんど現れていない。
この構造をアニメーションで展開することは、高解像度画像における個々のピクセルへの参加の難易度なメモリ複雑さを回避し、セグメントごとのカラーレベルの対応情報を含む実世界のアニメーションデータセットの使用を可能にする。
そこで我々は,画像列間のセグメント間の空間的および視覚的関係を学習するために,トランスフォーマに基づくアーキテクチャを用いたアニメーショントランス (AnT) を提案する。
AnTは、プロのアニメーションワークフローのための実践的で最先端のAI支援カラー化を可能にし、Cadmiumのクリエイティブツールとして一般公開されている。
関連論文リスト
- AniClipart: Clipart Animation with Text-to-Video Priors [28.76809141136148]
AniClipartは、静的な画像をテキストからビデオへの事前案内による高品質なモーションシーケンスに変換するシステムである。
実験結果から,提案したAniClipartは既存の画像・映像生成モデルより一貫して優れていることがわかった。
論文 参考訳(メタデータ) (2024-04-18T17:24:28Z) - Dynamic Typography: Bringing Text to Life via Video Diffusion Prior [73.72522617586593]
動的タイポグラフィー(Dynamic Typography)と呼ばれる自動テキストアニメーション方式を提案する。
意味的意味を伝えるために文字を変形させ、ユーザプロンプトに基づいて活気ある動きを注入する。
本手法は,ベクトルグラフィックス表現とエンドツーエンド最適化に基づくフレームワークを利用する。
論文 参考訳(メタデータ) (2024-04-17T17:59:55Z) - Learning Inclusion Matching for Animation Paint Bucket Colorization [76.4507878427755]
ネットワークにセグメント間の包摂関係を理解するための,学習に基づく新たな包摂的マッチングパイプラインを導入する。
提案手法では,粗いカラーワープモジュールと包括的マッチングモジュールを統合した2段階のパイプラインを特徴とする。
ネットワークのトレーニングを容易にするため,PaintBucket-Characterと呼ばれるユニークなデータセットも開発した。
論文 参考訳(メタデータ) (2024-03-27T08:32:48Z) - AnimateAnything: Fine-Grained Open Domain Image Animation with Motion
Guidance [13.416296247896042]
本稿では,映像拡散モデルに先立って動きを利用するオープンドメイン画像アニメーション手法を提案する。
本手法では,移動領域の正確な制御と移動速度を実現するため,目標となる運動領域の誘導と運動強度の誘導を導入する。
オープンドメインデータセットを用いた厳密な実験により,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2023-11-21T03:47:54Z) - Bridging the Gap: Fine-to-Coarse Sketch Interpolation Network for
High-Quality Animation Sketch Inbetweening [62.33071223229861]
スケッチ間相互作用を克服するためにFC-SIN(Fun-to-Co-arse Interpolation Network)を提案する。
FC-SINには、地域レベルの対応、スケッチレベルの対応、ピクセルレベルのダイナミクスを定式化するマルチレベルガイダンスが組み込まれている。
大規模なデータセットSTD-12Kを構築し、30のスケッチアニメーションシリーズを多種多様な芸術的スタイルで構成した。
論文 参考訳(メタデータ) (2023-08-25T09:51:03Z) - Latent Image Animator: Learning to Animate Images via Latent Space
Navigation [11.286071873122658]
本稿では,構造表現の必要性を回避する自己教師型オートエンコーダであるLatent Image Animator(LIA)を紹介する。
LIAは、潜時空間における線形ナビゲーションにより画像をアニメーションするために合理化され、特に、潜時空間における符号の線形変位によって生成されたビデオ内の動きが構成される。
論文 参考訳(メタデータ) (2022-03-17T02:45:34Z) - SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense
Reasoning [61.57887011165744]
マルチモーダルトランスフォーマーはVisual Commonsense Reasoningのタスクにおいて大きな進歩を遂げた。
視覚的なシーングラフを常識的推論に組み込むためのScene Graph Enhanced Image-Text Learningフレームワークを提案する。
論文 参考訳(メタデータ) (2021-12-16T03:16:30Z) - Deep Animation Video Interpolation in the Wild [115.24454577119432]
本研究では,アニメーション・ビデオ・コードに関する問題を初めて形式的に定義・検討する。
効果的なフレームワークであるAnimeInterpを2つの専用モジュールで粗密に提案します。
特にAnimeInterpは、野生のアニメーションシナリオに良好な知覚品質と堅牢性を示します。
論文 参考訳(メタデータ) (2021-04-06T13:26:49Z) - Going beyond Free Viewpoint: Creating Animatable Volumetric Video of
Human Performances [7.7824496657259665]
本稿では,人間の演奏の高品質な映像コンテンツ作成のためのエンドツーエンドパイプラインを提案する。
セマンティックエンリッチメントと幾何学的アニメーション能力は、3Dデータに時間的一貫性を確立することによって達成される。
ポーズ編集では、キャプチャしたデータを可能な限り活用し、キャプチャしたフレームをキネマティックに変形して所望のポーズに適合させる。
論文 参考訳(メタデータ) (2020-09-02T09:46:12Z) - First Order Motion Model for Image Animation [90.712718329677]
画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。
我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
論文 参考訳(メタデータ) (2020-02-29T07:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。