HOMIE: Human-object Centric Video Personalization via Multimodal Intelligent Enchancement
Abstractの概要
HOMIEは、異なる画像が異なるエンティティを描写する被写体間（inter-subject）の参照と、OCRマップやマルチビュー画像など複数の入力が同じ被写体を記述する被写体内（intra-subject）の参照の両方を処理するように設計された、人間・オブジェクト中心のビデオパーソナライゼーション（HOCVP）フレームワークです。この手法は、標準的なテキスト条件付け経路を置き換えるのではなく、テキストエンコーダを保持し、主にプロンプトと参照の間の関係を抽出するためにMLLMを活用します。その2つの主要コンポーネントは、プーリングされたMLLMのセマンティクスをビデオトークンの自己注意機構に注入するGlobal Multimodal Guidance（GMG）と、トークンのモダリティをマークして同じ被写体に属する参照を結びつけるModality-Reference Embedding（MRE）です。本論文ではさらに、既存の被写体主導のビデオデータセットに追加の高品質な人間・オブジェクトデータセットを組み合わせて構築された、厳選されたトレーニングパイプラインについても説明しています。
新規性
本論文の主な新規性は、元のテキストエンコーダを保持する特定のMLLM統合戦略により、被写体間および被写体内の両方のパーソナライゼーションに1つで対処する統合HOCVPフレームワークを開発した点です。MLLM由来のセマンティックな手がかりを自己注意機構に注入するGlobal Multimodal Guidanceと、モダリティを区別しつつ同一被写体の参照をリンクさせるModality-Reference Embeddingを新たに導入しています。
成果
定量評価において、HOMIEは評価対象のオープンソース手法の中で最先端（SoTA）のビデオ品質とテキスト追従性を達成し、多様なHOCVP設定においても被写体の一貫性指標で高い競争力を維持しています。従来のベースラインよりも高いOCR精度とマルチビューの被写体内生成における優れた結果が得られており、定性評価ではより正確なロゴ配置の推論、テキストの忠実度、視点の一貫性が示されました。アブレーション調査および40名が参加したユーザー評価により、GMGとMREの両コンポーネントの貢献がさらに裏付けられています。
論文の注目点
- HOMIEは、被写体間および被写体内の人間・オブジェクトビデオパーソナライゼーションを別々に扱うのではなく、統合された1つのフレームワーク内で処理する。
- 本手法はテキストエンコーダを置き換えずにMLLM情報を統合し、GMGを用いてビデオテキストのアテンションを調整し、MREを用いてモダリティと参照アイデンティティ構造をエンコードする。
- 実験により、特にOCRベースのテキストの忠実度、抽象的なロゴのパーソナライゼーション、および生成されたインタラクションにおけるマルチビューの一貫性において、優れたオープンソース性能が示された。
参考リンク
- arXiv: https://arxiv.org/abs/2607.18217v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2607.18217v1
- Hugging Face Papers: https://huggingface.co/papers/2607.18217
- Project: https://yiyangcai.github.io/homie-page.github.io/