論文の概要: When Numbers Speak: Aligning Textual Numerals and Visual Instances in Text-to-Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2604.08546v1
• Date: Thu, 09 Apr 2026 17:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:06.083025
• Title: When Numbers Speak: Aligning Textual Numerals and Visual Instances in Text-to-Video Diffusion Models
• Title（参考訳）: テキスト・ビデオ拡散モデルにおけるテキスト数とビジュアル・インスタンスのアライメント
• Authors: Zhengyang Sun, Yu Chen, Xin Zhou, Xiaofan Li, Xiwu Chen, Dingkang Liang, Xiang Bai,
• Abstract要約: 数値アライメントを改善するためのトレーニング不要な識別ガイドフレームワークであるNUMINAを紹介する。 NUMINAは、可算潜在レイアウトを導出するために、識別可能な自己および横断的なヘッダを選択することで、プロンプト不整合を識別する。 紹介されたCountBenchでは、NUMINAはWan2.1-1.3Bで7.4%、それぞれ5Bモデルと14Bモデルで4.9%と5.5%のカウント精度を向上している。
• 参考スコア（独自算出の注目度）: 51.01078053625045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-video diffusion models have enabled open-ended video synthesis, but often struggle with generating the correct number of objects specified in a prompt. We introduce NUMINA , a training-free identify-then-guide framework for improved numerical alignment. NUMINA identifies prompt-layout inconsistencies by selecting discriminative self- and cross-attention heads to derive a countable latent layout. It then refines this layout conservatively and modulates cross-attention to guide regeneration. On the introduced CountBench, NUMINA improves counting accuracy by up to 7.4% on Wan2.1-1.3B, and by 4.9% and 5.5% on 5B and 14B models, respectively. Furthermore, CLIP alignment is improved while maintaining temporal consistency. These results demonstrate that structural guidance complements seed search and prompt enhancement, offering a practical path toward count-accurate text-to-video diffusion. The code is available at https://github.com/H-EmbodVis/NUMINA.
• Abstract（参考訳）: テキストとビデオの拡散モデルは、オープンなビデオ合成を可能にするが、しばしばプロンプトで指定されたオブジェクトの正しい数を生成することに苦労する。 数値アライメントを改善するためのトレーニング不要な識別ガイドフレームワークであるNUMINAを紹介する。 NUMINAは、識別的自己および横断的アテンションヘッドを選択して、可算潜在レイアウトを導出することで、即時レイアウトの不整合を識別する。 その後、このレイアウトを保守的に洗練し、再生を誘導するために横断的アテンションを調節する。 紹介されたCountBenchでは、NUMINAはWan2.1-1.3Bで7.4%、それぞれ5Bモデルと14Bモデルで4.9%と5.5%のカウント精度を向上している。 さらに、CLIPアライメントは時間的一貫性を維持しながら改善される。 これらの結果から, 構造的ガイダンスはシード検索と促進を補完し, テキスト・ビデオ拡散の精度向上に向けた実践的な道筋を提供することが明らかとなった。 コードはhttps://github.com/H-EmbodVis/NUMINAで入手できる。

関連論文リスト

• TABED: Test-Time Adaptive Ensemble Drafting for Robust Speculative Decoding in LVLMs [14.030784220154151]
  本研究では,大規模視覚言語モデルに対するTABED(Test-time Adaptive Batched Ensemble Drafting)を提案する。 TABEDは、SD設定で利用可能な過去の真実からの逸脱を利用して、バッチ推論によって得られた複数のドラフトをアンサンブルする。 自動回帰復号法よりも1.74倍のロバストなウォールタイム・スピードアップを実現し、単一起草法よりも5%改善した。
  論文  参考訳（メタデータ） (2026-01-28T08:16:57Z)
• Number it: Temporal Grounding Videos like Flipping Manga [45.50403831692172]
  Number-Prompt (NumPro) は、Vid-LLMに時間的接地による視覚的理解をブリッジする手法である。 NumProは動画をフレーム画像のシーケンスとして扱い、VTGを直感的なプロセスに変換します。 実験により、NumProは計算コストを伴わずに最上位のVid-LLMのVTG性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-11-15T16:32:34Z)
• RETTA: Retrieval-Enhanced Test-Time Adaptation for Zero-Shot Video Captioning [77.59074909960913]
  Retrieval-Enhanced Test-Time Adaptation (RETTA) と呼ばれる新しいゼロショットビデオキャプションフレームワークを提案する。 一般的なビデオテキスト検索モデルXCLIP、一般的な画像テキストマッチングモデルCLIP、テキストアライメントモデルAnglE、テキスト生成モデルGPT-2の4つのキーモデルを用いてビデオとテキストをブリッジする。 そこで本研究では,GPT-2,XCLIP,CLIP,AnglEの4つのフリーズモデルにおいて,学習可能なトークンを通信媒体として用いることを提案する。
  論文  参考訳（メタデータ） (2024-05-11T16:22:00Z)
• VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
  本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。 データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。 機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
  論文  参考訳（メタデータ） (2023-12-04T19:48:02Z)
• UATVR: Uncertainty-Adaptive Text-Video Retrieval [90.8952122146241]
  一般的なプラクティスは、テキストとビデオのペアを同じ埋め込みスペースに転送し、特定のエンティティとのクロスモーダルなインタラクションを構築することである。 UATVRと呼ばれる不確実性言語によるテキスト・ビデオ検索手法を提案し、各ルックアップを分布マッチング手順としてモデル化する。
  論文  参考訳（メタデータ） (2023-01-16T08:43:17Z)
• Text-Driven Video Acceleration: A Weakly-Supervised Reinforcement Learning Method [6.172652648945223]
  本稿では,テキストを用いた指導ビデオの高速化を目的とした,弱教師付き手法を提案する。 新たな共同報酬関数がエージェントを誘導し、どのフレームから入力ビデオを取り除き、ターゲット長に減らすかを選択する。 また,高度に識別可能な埋め込み空間を生成可能な拡張視覚誘導型文書注意ネットワーク(VDAN+)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T17:43:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。