論文の概要: Bunraku: Turning a Single Illustration into an Editable Live2D Character
- arxiv url: http://arxiv.org/abs/2607.27348v1
- Date: Wed, 29 Jul 2026 18:06:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.299797
- Title: Bunraku: Turning a Single Illustration into an Editable Live2D Character
- Title(参考訳): 文楽:1枚のイラストを編集可能なLive2Dキャラクタに変える
- Authors: Junhao Chen, Jingjia Mao, Dayong Li, Chenghai Li, Saining Zhang, Zhihao Li, Hao Zhao, Yufei Wang, Ruqi Huang,
- Abstract要約: 我々はLive2Dランタイムが消費する構造化情報全てを生成する最初のシステムを提案する。
ステージ1は、Live2Dを意識した臓器レベルの分類の下で、層状分解を層状拡散過程としてキャストする。
ステージ2は、アルファチャネルのみから各層に対してコンテンツコンフォーメーショントライアングルメッシュを構築し、すべての層のキーポジション変位場を共同で予測する。
- 参考スコア(独自算出の注目度): 25.17979482882208
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Live2D is the dominant 2D character-animation format for anime characters and virtual avatars, representing each character as a stack of RGBA layers driven by per-layer mesh deformation. Despite its wide use in virtual streaming, mobile games, and interactive characters, authoring a Live2D model still demands weeks of manual layer separation, occlusion completion, mesh placement, and keyframing, and no prior generative method produces such a structured asset end-to-end. We present the first system that, from a single illustration, generates all the structured information a Live2D runtime consumes: ordered RGBA layers, a deformation mesh per layer, and the parameter-driven keypose vertex offsets that make the character move. Stage 1 casts layered decomposition as a layered diffusion process under a Live2D-aware organ-level taxonomy, producing an ordered RGBA stack with hidden-region completion. Stage 2 builds a content-conforming triangle mesh for each layer from its alpha channel alone, then predicts the keypose displacement field of all layers jointly: every vertex of every layer is one token, self-attention spans layer boundaries, and each displacement is factorised into a bounded direction and a log-magnitude. Joint rather than independent prediction is what makes the result a coherent character instead of separately plausible parts, and is our largest gain; scaling the network 112x yields none. On 50 held-out characters, under true generation with no teacher forcing, Stage 2 attains a per-vertex direction cosine of 0.768 (median 0.828). Because a layer's mesh derives from its alpha channel, a clothing layer can be re-textured from a natural-language instruction while the mesh and predicted animation are reused byte-for-byte. We further contribute Live2D-Bench, the first standardized benchmark for the task, and an 8,884-model Live2D corpus with layer and animation supervision.
- Abstract(参考訳): Live2Dはアニメキャラクタと仮想アバターの2Dアニメーションフォーマットであり、各キャラクタを層間メッシュ変形によって駆動されるRGBA層のスタックとして表現する。
仮想ストリーミング、モバイルゲーム、インタラクティブなキャラクタに広く利用されているにも関わらず、Live2Dモデルのオーサリングには、手動層分離、オクルージョン補完、メッシュ配置、キーフレーミングの数週間を要する。
1つの図から、Live2Dランタイムが消費する全ての構造化情報を生成する最初のシステムは、順序付きRGBA層、層ごとの変形メッシュ、および文字を移動させるパラメータ駆動キープレイス頂点オフセットである。
ステージ1は、層状分解をLive2Dを意識した臓器レベルの分類の下で層状拡散過程としてキャストし、隠れ領域を完備した順序付きRGBAスタックを生成する。
ステージ2は、アルファチャネルのみから各層に対してコンテンツコンフォーメーショントライアングルメッシュを構築し、その後、すべての層のキーポジション変位場を共同で予測する: すべての層の頂点は1つのトークンであり、自己保持は層の境界にまたがっており、各変位は境界方向と対数方向に分解される。
独立した予測ではなくジョイントは、結果が個別に可算な部分ではなく一貫性のあるキャラクタになり、私たちの最大の利益になります。
50の保留文字では、教師の強制を伴わない真の世代で、ステージ2は頂点毎のコサインが 0.768 (median 0.828) に達する。
レイヤーのメッシュはアルファチャネルに由来するため、メッシュと予測アニメーションがバイト単位で再利用されている間、衣料層は自然言語命令から再テクスチャすることができる。
さらに、このタスクの最初の標準化されたベンチマークであるLive2D-Benchや、レイヤとアニメーションを監督する8,884モデルのLive2Dコーパスにも貢献する。
関連論文リスト
- StoryBlender: Inter-Shot Consistent and Editable 3D Storyboard with Spatial-temporal Dynamics [56.8957922153694]
StoryBlenderは、ストーリー中心のリフレクションスキームによって管理される、3Dストーリーボード生成フレームワークです。
StoryBlenderは拡散ベースベースと3Dグラウンドベースラインの整合性と編集性を大幅に改善する。
論文 参考訳(メタデータ) (2026-04-01T07:24:31Z) - SPRITETOMESH: Automatic Mesh Generation for 2D Skeletal Animation Using Learned Segmentation and Contour-Aware Vertex Placement [0.0]
SPRITETOMESHは、2Dゲームスプライト画像を三角形メッシュに変換するための完全な自動パイプラインである。
172ゲームから10,000以上のスプライトマスクペアでトレーニングされたセグメンテーションネットワークは、IoUの0.87を達成している。
パイプラインはスプライトを3秒未満で処理し、手動で作成する速度は300x-1200倍である。
論文 参考訳(メタデータ) (2026-02-24T17:58:31Z) - See-through: Single-image Layer Decomposition for Anime Characters [11.629918493740263]
本稿では,静的アニメイラストをマニピュラブル2.5Dモデルに変換するフレームワークを提案する。
当社のアプローチでは、ひとつの画像を完全に塗装されたセマンティックな異なる層に分解することで、これを克服しています。
提案手法により,プロのリアルタイムアニメーションアプリケーションに適した高忠実でマニピュラブルなモデルが得られることを示す。
論文 参考訳(メタデータ) (2026-02-03T17:12:36Z) - Interp3D: Correspondence-aware Interpolation for Generative Textured 3D Morphing [63.141976759536625]
テクスチャ化された3DモーフィングのためのトレーニングフリーフレームワークであるInterp3Dを提案する。
生成的先行性を利用し、幾何学的忠実さとテクスチャコヒーレンスの両方を保証するために、プログレッシブアライメント原理を採用する。
包括的評価のために, 難易度の高い専用データセットInterp3DDataを構築し, 忠実度, 遷移滑らか度, 可視性から生成結果を評価する。
論文 参考訳(メタデータ) (2026-01-20T16:03:22Z) - XMask3D: Cross-modal Mask Reasoning for Open Vocabulary 3D Semantic Segmentation [72.12250272218792]
本稿では,3次元特徴量と2次元テキスト埋め込み空間とのより精巧なマスクレベルのアライメントを,クロスモーダルマスク推論フレームワークであるXMask3Dを用いて提案する。
我々は、3Dグローバルな特徴を暗黙の条件として、事前訓練された2D denoising UNetに統合し、セグメンテーションマスクの生成を可能にする。
生成した2Dマスクを用いて、マスクレベルの3D表現を視覚言語の特徴空間と整合させ、3D幾何埋め込みの開語彙能力を増大させる。
論文 参考訳(メタデータ) (2024-11-20T12:02:12Z) - Efficient 3D Articulated Human Generation with Layered Surface Volumes [131.3802971483426]
我々は,デジタル人間のための新しい3次元オブジェクト表現として,層状表面体積(LSV)を導入する。
LSVは、従来のテンプレートの周囲の複数のテクスチャ層を使用して人体を表現する。
2Dジェネレータは個々のレイヤのRGBAテクスチャを合成することを学ぶ。
論文 参考訳(メタデータ) (2023-07-11T17:50:02Z) - WALDO: Future Video Synthesis using Object Layer Decomposition and
Parametric Flow Prediction [82.79642869586587]
WALDOは、過去のビデオフレームを予測するための新しいアプローチである。
個々の画像は、オブジェクトマスクと小さなコントロールポイントのセットを組み合わせた複数の層に分解される。
レイヤ構造は、各ビデオ内のすべてのフレーム間で共有され、フレーム間の密接な接続を構築する。
論文 参考訳(メタデータ) (2022-11-25T18:59:46Z) - Unsupervised Video Interpolation by Learning Multilayered 2.5D Motion
Fields [75.81417944207806]
本稿では,ビデオフレーム学習において,単一のビデオのみを必要とする自己教師型アプローチを提案する。
時間変化運動場上に定義された通常の微分可能方程式(ODE)を解くことにより,映像の動きをパラメータ化する。
この暗黙的な神経表現は、ビデオを時空間連続体として学習し、任意の時間分解能でフレーム時間連続体を可能にする。
論文 参考訳(メタデータ) (2022-04-21T06:17:05Z) - Layered Neural Atlases for Consistent Video Editing [37.69447642502351]
本稿では,入力映像を層状2次元アトラスに分解する手法を提案する。
ビデオの各画素について,各アトラスの対応する2次元座標を推定する。
我々は、アトラスを解釈可能で意味論的に設計し、アトラス領域での簡単かつ直感的な編集を容易にする。
論文 参考訳(メタデータ) (2021-09-23T14:58:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。