Fugu-MT 論文翻訳(概要): BEACON: Behavior and Appearance Control for Subject-Specific Video Generation

論文の概要: BEACON: Behavior and Appearance Control for Subject-Specific Video Generation

arxiv url: http://arxiv.org/abs/2609.13264v1
Date: Mon, 07 Sep 2026 09:09:12 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 12:40:38.810468
Title: BEACON: Behavior and Appearance Control for Subject-Specific Video Generation
Title（参考訳）: BEACON:主観的映像生成のための動作と外観制御
Abstract要約: 人固有のビデオ生成のための軽量なフレームワークBEACONを紹介する。視覚的アイデンティティを表現行動から切り離すことによって、より表現力のあるビデオを生成する。 BEACONは、これらの相補的な信号を条件づけることで、被験者の外観と特徴的顔力学の両方をよりよく保存するビデオを生成する。
参考スコア（独自算出の注目度）: 20.360530698353916
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Generating human-centric videos that preserve both visual identity and person-specific expressive behavior remains a fundamental challenge. In addition to reproducing appearance, a model must replicate the facial behaviors that characterize how a subject expresses emotion over time. However, most state-of-the-art methods condition generation on a single reference image, which contains no information about these temporal dynamics. As a result, they tend to preserve the subject's visual identity but often produce expressions with limited variation and weak subject specificity. To mitigate this issue, we introduce BEACON, a lightweight framework for person-specific video generation that produces more expressive videos by disentangling visual identity from expressive behavior. BEACON conditions generation on two complementary signals: a reference image encoding the identity and a reference video capturing subject-specific facial dynamics. By conditioning on these complementary signals, BEACON generates videos that better preserve both the subject's appearance and characteristic facial dynamics, while also supporting identity-expression transfer. Our experiments on the MEAD and RAVDESS datasets show that by fine-tuning on approximately 2,000 pairs and updating about 1% of the pretrained Wan video diffusion model, BEACON improves facial expressivity over state-of-the-art video generation methods while maintaining competitive identity preservation.
Abstract（参考訳）: 視覚的アイデンティティと人特有の表現行動の両方を保存する人間中心のビデオを生成することは、依然として根本的な課題である。容姿の再現に加えて、モデルは、被写体が時間とともにどのように感情を表現するかを特徴付ける顔の振る舞いを再現する必要がある。しかし、ほとんどの最先端の手法は、これらの時間的ダイナミクスに関する情報を含まない単一の参照画像上で条件生成を行う。結果として、被験者の視覚的アイデンティティを保持する傾向にあるが、しばしば、限られた変化と弱い被写体特異性を持つ表現を生成する。この問題を軽減するために,表現行動から視覚的アイデンティティを遠ざけ,より表現力のあるビデオを生成する,人固有のビデオ生成のための軽量フレームワークBEACONを紹介する。 BEACON条件は、アイデンティティを符号化する参照画像と、被写体固有の顔力学をキャプチャする参照ビデオの2つの補完信号に対して生成される。 BEACONは、これらの相補的なシグナルを条件づけることで、被験者の外観と特徴的顔のダイナミクスの両方をよりよく保存すると同時に、アイデンティティと表現の伝達をサポートするビデオを生成する。 MEADとRAVDESSのデータセットを用いた実験により,約2000対を微調整し,事前訓練したWanビデオ拡散モデルの約1%を更新することにより,BEACONは最先端のビデオ生成法よりも顔の表現性を向上し,競争的アイデンティティ保存を維持した。

関連論文リスト

ID-V2V: Identity-Preserving Video Restylization [16.492389645021028]
我々は,編集ビデオによって規定されるシーン,照明,スタイルの変化を伝播させる,アイデンティティ保存型ビデオ再構成の課題を定式化する。鍵となる障害は、ペア化されたトレーニングデータがないことだ。本稿では、相補的な制御信号を統合するビデオ間生成フレームワークID-V2Vを紹介する。
論文参考訳（メタデータ） (2026-07-24T18:12:58Z)
Slot-ID: Identity-Preserving Video Generation from Reference Videos via Slot-Based Temporal Identity Encoding [30.62635724018122]
拡散変圧器ビデオジェネレータの同一条件の変種について述べる。短いクリップでは、ポーズや照明を横切る笑顔の作り方など、主題固有のパターンが明らかになっている。このアプローチは、大きなポーズの変化と表現力のある顔行動の下で、恒常的にアイデンティティの保持を改善する。
論文参考訳（メタデータ） (2026-01-04T03:41:55Z)
From Large Angles to Consistent Faces: Identity-Preserving Video Generation via Mixture of Facial Experts [69.44297222099175]
顔の特徴の異なるが相互に強化された側面を捉えた顔専門家の混合(MoFE)を導入する。データセットの制限を軽減するため、私たちは、Face ConstraintsとIdentity Consistencyという2つの重要な側面を中心としたデータ処理パイプラインを調整しました。我々は、既存のオープンソースヒューマンビデオデータセットからLFA(Large Face Angles)データセットをキュレートし、洗練しました。
論文参考訳（メタデータ） (2025-08-13T04:10:16Z)
Mask-Free Audio-driven Talking Face Generation for Enhanced Visual Quality and Identity Preservation [54.52905471078152]
本研究では,2Dベースの顔編集作業を維持しつつ,マスクレス音声生成手法を提案する。入力画像を2段階のランドマークベースアプローチを用いて,口を閉じた状態に変換する。
論文参考訳（メタデータ） (2025-07-28T16:03:36Z)
Removing Averaging: Personalized Lip-Sync Driven Characters Based on Identity Adapter [13.630889787934722]
リップ平均化(lip averaging)現象は、未確認映像を撮影する際に、モデルが微妙な顔の細部を保存できない場合に発生する。参照ビデオからアイデンティティ埋め込みを抽出し,忠実な顔列を生成するUnAvgLipを提案する。
論文参考訳（メタデータ） (2025-03-09T02:36:31Z)
EchoVideo: Identity-Preserving Human Video Generation by Multimodal Feature Fusion [3.592206475366951]
既存の手法は「コピー・ペースト」アーティファクトと類似性の低い問題に苦しむ。テキストから高レベルなセマンティック機能を統合して、クリーンな顔認証表現をキャプチャするEchoVideoを提案する。高品質で制御性があり、忠実なビデオを生成するのに優れた結果をもたらす。
論文参考訳（メタデータ） (2025-01-23T08:06:11Z)
MEMO: Memory-Guided Diffusion for Expressive Talking Video Generation [55.95148886437854]
メモリ誘導EMO (Memory-guided EMOtion-aware diffusion) は、音声による映像を生成するエンドツーエンドのポートレートアニメーション手法である。 MEMOは、多様な画像とオーディオタイプ、全体的な品質、オーディオ-リップ同期、アイデンティティの整合性、表現-感情アライメントにおいて、よりリアルな会話ビデオを生成する。
論文参考訳（メタデータ） (2024-12-05T18:57:26Z)
VividPose: Advancing Stable Video Diffusion for Realistic Human Image Animation [79.99551055245071]
時間的安定性を向上するエンドツーエンドパイプラインであるVividPoseを提案する。識別対応外見制御器は、他の外見の詳細を損なうことなく、追加の顔情報を統合する。 SMPL-Xからの高密度レンダリングマップとスパーススケルトンマップの両方を利用する幾何対応のポーズコントローラ。 VividPoseは、提案したWildデータセットに優れた一般化能力を示す。
論文参考訳（メタデータ） (2024-05-28T13:18:32Z)
Identity-Preserving Talking Face Generation with Landmark and Appearance Priors [106.79923577700345]
既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
論文参考訳（メタデータ） (2023-05-15T01:31:32Z)
Diffused Heads: Diffusion Models Beat GANs on Talking-Face Generation [54.68893964373141]
顔の生成は、これまで、追加の参照ビデオからのガイダンスなしで、頭の動きや自然な表情を作り出すのに苦労してきた。拡散に基づく生成モデルの最近の発展は、より現実的で安定したデータ合成を可能にする。本稿では,現実的な人間の頭部の映像を生成するために,1つのアイデンティティ画像と音声シーケンスのみを必要とする自己回帰拡散モデルを提案する。
論文参考訳（メタデータ） (2023-01-06T14:16:54Z)
Facial Expression Video Generation Based-On Spatio-temporal Convolutional GAN: FEV-GAN [1.279257604152629]
6つの基本表情の映像を生成するための新しいアプローチを提案する。提案手法は,同一ネットワークにおけるコンテンツと動作の両方をモデル化することが知られている時空間的コナールGANをベースとしている。コードと事前訓練されたモデルは間もなく公開される予定だ。
論文参考訳（メタデータ） (2022-10-20T11:54:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。