論文の概要: Rethinking Position Embedding as a Context Controller for Multi-Reference and Multi-Shot Video Generation

• arxiv url: http://arxiv.org/abs/2604.03738v1
• Date: Sat, 04 Apr 2026 13:50:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.745328
• Title: Rethinking Position Embedding as a Context Controller for Multi-Reference and Multi-Shot Video Generation
• Title（参考訳）: マルチ参照・マルチショットビデオ生成のためのコンテキスト制御系としての位置埋め込みの再考
• Authors: Binyuan Huang, Yuning Lu, Weinan Jia, Hualiang Wang, Mu Liu, Daiqing Yang,
• Abstract要約: 本稿では,PoCo(Position Embedding as a Context Controller)を導入する。 PoCoをベースとしたマルチ参照・マルチショットビデオ生成モデルを構築し、非常に類似した視覚特性を持つキャラクタを確実に制御する。
• 参考スコア（独自算出の注目度）: 6.953982005915382
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent proprietary models such as Sora2 demonstrate promising progress in generating multi-shot videos conditioned on multiple reference characters. However, academic research on this problem remains limited. We study this task and identify a core challenge: when reference images exhibit highly similar appearances, the model often suffers from reference confusion, where semantically similar tokens degrade the model's ability to retrieve the correct context. To address this, we introduce PoCo (Position Embedding as a Context Controller), which incorporates position encoding as additional context control beyond semantic retrieval. By employing side information of tokens, PoCo enables precise token-level matching while preserving implicit semantic consistency modeling. Building on PoCo, we develop a multi-reference and multi-shot video generation model capable of reliably controlling characters with extremely similar visual traits. Extensive experiments demonstrate that PoCo improves cross-shot consistency and reference fidelity compared with various baselines.
• Abstract（参考訳）: Sora2のような最近のプロプライエタリなモデルは、複数の参照文字に条件付けされたマルチショットビデオの生成において、有望な進歩を示している。 しかし、この問題に関する学術的な研究は依然として限られている。 参照画像が非常に類似した外観を示す場合、モデルはしばしば参照混乱に悩まされ、セマンティックに類似したトークンは正しいコンテキストを復元するモデルの能力を低下させる。 本稿では,PoCo(Position Embedding as a Context Controller)を導入する。 PoCoはトークンのサイド情報を利用することで、暗黙的なセマンティック一貫性モデリングを保持しながら、正確なトークンレベルのマッチングを可能にする。 PoCoをベースとしたマルチ参照・マルチショットビデオ生成モデルを構築し、非常に類似した視覚特性を持つキャラクタを確実に制御する。 大規模な実験により、PoCoは様々なベースラインと比較して、クロスショット一貫性と参照忠実度を改善している。

関連論文リスト

• Self-Corrected Image Generation with Explainable Latent Rewards [55.29175717238288]
  我々は、説明可能なLatent RewarDを通じて生成をガイドする自己修正フレームワークであるxLARDを提案する。 xLARDは、モデル生成参照からの構造化されたフィードバックに基づいて遅延表現を洗練する軽量な修正器を導入している。 実験により、xLARDは、生成前の状態を維持しながら、意味的アライメントと視覚的忠実性を改善することが示された。
  論文  参考訳（メタデータ） (2026-03-26T02:59:35Z)
• Memory-Augmented Vision-Language Agents for Persistent and Semantically Consistent Object Captioning [27.48318501076437]
  VLM(Vision-Language Models)はしばしば、視点を越えて同じオブジェクトの一貫性のない記述をもたらす。 本稿では,データアソシエーション,オブジェクトキャプション,探索ポリシを同時に処理するメモリ拡張型ビジョンランゲージエージェントを提案する。 標準キャプションスコアでは+11.86%、ベースラインモデルでは+7.39%の改善が見られた。
  論文  参考訳（メタデータ） (2026-03-25T12:52:32Z)
• MICON-Bench: Benchmarking and Enhancing Multi-Image Context Image Generation in Unified Multimodal Models [89.89575486159795]
  マルチイメージコンテキスト生成のためのベンチマークである textbfMICON-Bench を導入する。 本稿では,意味的および視覚的整合性の自動検証のためのMLLM駆動型評価-Checkpointフレームワークを提案する。 また、推論中に注意を動的に調整し、コヒーレンスを高め、幻覚を減らす訓練不要なプラグアンドプレイ機構であるtextbfDynamic Attention Rebalancing (DAR) を提案する。
  論文  参考訳（メタデータ） (2026-02-23T04:32:52Z)
• AlcheMinT: Fine-grained Temporal Control for Multi-Reference Consistent Video Generation [58.844504598618094]
  本稿では、被験者駆動ビデオ生成のための明示的なタイムスタンプ条件付きフレームワークAlcheMinTを提案する。 提案手法では,時間間隔の符号化を解き放つ新しい位置符号化機構を導入する。 我々は、視覚的アイデンティティとビデオキャプションの結合を強化するために、主観記述型テキストトークンを導入し、世代間あいまいさを緩和する。
  論文  参考訳（メタデータ） (2025-12-11T18:59:34Z)
• VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction [83.50898344094153]
  VQRAEは、イメージ理解のための連続的セマンティック機能と、統一トークン化器内での視覚生成のためのトークンを生成する。 デザインは、多モーダル理解、離散トークンの能力を維持するために、無視可能な意味情報を可能にする。 VQRAEは、視覚的理解、生成、再構築のベンチマークで競合性能を示す。
  論文  参考訳（メタデータ） (2025-11-28T17:26:34Z)
• MultiBanana: A Challenging Benchmark for Multi-Reference Text-to-Image Generation [38.21587139161503]
  $textbfMultiBanana$は、大規模なマルチ参照固有の問題を広くカバーすることによって、モデル機能のエッジを評価するように設計されている。 分析の結果、優れたパフォーマンス、典型的な障害モード、改善すべき領域が明らかになりました。 MultiBananaはオープンなベンチマークとしてリリースされ、バウンダリをプッシュし、マルチ参照画像生成における公正な比較のための標準化された基盤を確立する。
  論文  参考訳（メタデータ） (2025-11-28T08:49:55Z)
• Kaleido: Open-Sourced Multi-Subject Reference Video Generation Model [38.79676648965641]
  対象者の複数の参照画像に条件付き映像を合成することを目的としたS2V生成フレームワークであるKaleidoについて述べる。 カレイドは、一貫性、忠実性、一般化において従来の方法よりも著しく優れており、S2V生成の進歩を示している。
  論文  参考訳（メタデータ） (2025-10-21T12:28:14Z)
• TokenAR: Multiple Subject Generation via Autoregressive Token-level enhancement [87.82338951215131]
  TokenARは、参照ID混乱問題に対処するための、単純だが効果的なトークンレベル拡張機構である。 Token Injectionのインストラクションは、参照トークンの詳細なおよび補完的な事前を注入する、余分な視覚的特徴コンテナの役割として機能する。 Identity-token disentanglement Strategy(ITD)は、トークン表現を個々のアイデンティティの特徴を独立に表現するために明示的にガイドする。
  論文  参考訳（メタデータ） (2025-10-18T03:36:26Z)
• Coreference as an indicator of context scope in multimodal narrative [3.9248546555042356]
  本研究は,多モーダル言語モデルが中心的表現の分布において人間と大きく異なることを示す。 本稿では,人文と機械文の両文中核パターンの特徴を定量化する指標について紹介する。
  論文  参考訳（メタデータ） (2025-03-07T10:23:22Z)
• Openstory++: A Large-scale Dataset and Benchmark for Instance-aware Open-domain Visual Storytelling [81.69474860607542]
  画像とテキストの両方にインスタンスレベルのアノテーションを追加する大規模データセットであるOpenstory++を提示する。 また、長いマルチモーダルコンテキストが提供される際に、画像生成タスクを評価するための先駆的なベンチマークフレームワークであるCohere-Benchについても紹介する。
  論文  参考訳（メタデータ） (2024-08-07T11:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。