論文の概要: CAST: Character labeling in Animation using Self-supervision by Tracking
- arxiv url: http://arxiv.org/abs/2201.07619v1
- Date: Wed, 19 Jan 2022 14:21:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-20 17:51:30.634375
- Title: CAST: Character labeling in Animation using Self-supervision by Tracking
- Title(参考訳): CAST: トラッキングによる自己監督によるアニメーションの文字ラベリング
- Authors: Oron Nir, Gal Rapoport, Ariel Shamir
- Abstract要約: カートゥーンやアニメーションのドメインビデオは、実写の画像やビデオとは大きく異なる特徴を持っている。
現在のコンピュータビジョンとディープラーニングソリューションは、自然画像で訓練されたため、アニメーションコンテンツでは失敗することが多い。
本稿では,特定のアニメーションコンテンツに適した意味表現を洗練させる手法を提案する。
- 参考スコア(独自算出の注目度): 6.57697269659615
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Cartoons and animation domain videos have very different characteristics
compared to real-life images and videos. In addition, this domain carries a
large variability in styles. Current computer vision and deep-learning
solutions often fail on animated content because they were trained on natural
images. In this paper we present a method to refine a semantic representation
suitable for specific animated content. We first train a neural network on a
large-scale set of animation videos and use the mapping to deep features as an
embedding space. Next, we use self-supervision to refine the representation for
any specific animation style by gathering many examples of animated characters
in this style, using a multi-object tracking. These examples are used to define
triplets for contrastive loss training. The refined semantic space allows
better clustering of animated characters even when they have diverse
manifestations. Using this space we can build dictionaries of characters in an
animation videos, and define specialized classifiers for specific stylistic
content (e.g., characters in a specific animation series) with very little user
effort. These classifiers are the basis for automatically labeling characters
in animation videos. We present results on a collection of characters in a
variety of animation styles.
- Abstract(参考訳): 漫画やアニメーションのドメインビデオは、実際の画像やビデオとは全く異なる特徴を持っている。
さらに、このドメインはスタイルに大きな可変性を持っている。
現在のコンピュータビジョンとディープラーニングソリューションは、自然画像で訓練されたため、アニメーションコンテンツでは失敗することが多い。
本稿では,特定のアニメーションコンテンツに適した意味表現を洗練する手法を提案する。
まず、大規模なアニメーションビデオセットでニューラルネットワークをトレーニングし、深層機能へのマッピングを埋め込み空間として使用します。
次に、マルチオブジェクトトラッキングを用いて、このスタイルでアニメーションキャラクターの多くの例を収集することにより、特定のアニメーションスタイルの表現を洗練するために自己スーパービジョンを使用する。
これらの例は、コントラスト損失トレーニングのための三重項を定義するために使われる。
洗練された意味空間は、多様な表現を持つ場合でも、アニメーションキャラクタのクラスタリングを改善する。
この空間を使用することで、アニメーションビデオに文字の辞書を作成し、特定のスタイル的コンテンツ(例えば、特定のアニメーションシリーズの文字)の特殊分類器を定義することができる。
これらの分類器はアニメーションビデオ中の文字を自動的にラベリングする基礎である。
本稿では,様々なアニメーションスタイルのキャラクターの集合について報告する。
関連論文リスト
- AnimateZero: Video Diffusion Models are Zero-Shot Image Animators [63.938509879469024]
我々はAnimateZeroを提案し、事前訓練されたテキスト・ビデオ拡散モデル、すなわちAnimateDiffを提案する。
外観制御のために,テキスト・ツー・イメージ(T2I)生成から中間潜伏子とその特徴を借りる。
時間的制御では、元のT2Vモデルのグローバルな時間的注意を位置補正窓の注意に置き換える。
論文 参考訳(メタデータ) (2023-12-06T13:39:35Z) - Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for
Character Animation [29.35175159679592]
拡散モデルは、その堅牢な生成能力のために、視覚世代研究の主流となっている。
本稿では,キャラクターアニメーションに適した新しいフレームワークを提案する。
トレーニングデータを拡張することにより、任意の文字をアニメーション化することが可能となり、他の画像とビデオの手法と比較して、文字アニメーションにおいて優れた結果が得られる。
論文 参考訳(メタデータ) (2023-11-28T12:27:15Z) - MagicAnimate: Temporally Consistent Human Image Animation using
Diffusion Model [74.84435399451573]
本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。
既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。
MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
論文 参考訳(メタデータ) (2023-11-27T18:32:31Z) - AnimateAnything: Fine-Grained Open Domain Image Animation with Motion
Guidance [13.416296247896042]
本稿では,映像拡散モデルに先立って動きを利用するオープンドメイン画像アニメーション手法を提案する。
本手法では,移動領域の正確な制御と移動速度を実現するため,目標となる運動領域の誘導と運動強度の誘導を導入する。
オープンドメインデータセットを用いた厳密な実験により,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2023-11-21T03:47:54Z) - DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors [63.43133768897087]
オープンドメイン画像をアニメーションビデオに変換する手法を提案する。
鍵となるアイデアは、画像を生成プロセスに組み込むことで、テキストからビデオへの拡散モデルに先立っての動きを活用することである。
提案手法は視覚的に説得力があり、より論理的で自然な動きが得られ、入力画像への適合性が向上する。
論文 参考訳(メタデータ) (2023-10-18T14:42:16Z) - SketchBetween: Video-to-Video Synthesis for Sprite Animation via
Sketches [0.9645196221785693]
2Dアニメーションは、キャラクター、エフェクト、バックグラウンドアートに使用されるゲーム開発において一般的な要素である。
アニメーションの自動化アプローチは存在するが、アニメーションを念頭に置いて設計されている。
本稿では,アニメーションの標準的なワークフローにより密着した問題定式化を提案する。
論文 参考訳(メタデータ) (2022-09-01T02:43:19Z) - Deep Animation Video Interpolation in the Wild [115.24454577119432]
本研究では,アニメーション・ビデオ・コードに関する問題を初めて形式的に定義・検討する。
効果的なフレームワークであるAnimeInterpを2つの専用モジュールで粗密に提案します。
特にAnimeInterpは、野生のアニメーションシナリオに良好な知覚品質と堅牢性を示します。
論文 参考訳(メタデータ) (2021-04-06T13:26:49Z) - Living Machines: A study of atypical animacy [6.4220844657257725]
我々は19世紀の英語文に基づく非定型アニマシー検出のための最初のデータセットを作成する。
本手法は,言語モデリングにおける最近の革新,特に BERT の文脈化された単語埋め込みを基盤としている。
提案手法は,非典型的アニマシーのより正確なキャラクタリゼーションを提供する。
論文 参考訳(メタデータ) (2020-05-22T12:35:18Z) - Unpaired Motion Style Transfer from Video to Animation [74.15550388701833]
1つのアニメーションクリップからもう1つのアニメーションクリップへモーションスタイルを転送する一方で、後者のモーションコンテンツを保存することは、キャラクターアニメーションにおいて長年の課題であった。
本稿では,スタイルラベル付き動きの集合から学習する動きスタイル伝達のための新しいデータ駆動フレームワークを提案する。
本フレームワークでは,映像から直接動作スタイルを抽出し,3次元再構成をバイパスし,これらを3次元入力動作に適用することができる。
論文 参考訳(メタデータ) (2020-05-12T13:21:27Z) - First Order Motion Model for Image Animation [90.712718329677]
画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。
我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
論文 参考訳(メタデータ) (2020-02-29T07:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。