論文の概要: Golden Anchor for Video Generation
- arxiv url: http://arxiv.org/abs/2610.13217v2
- Date: Mon, 12 Oct 2026 03:19:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-14 23:39:49.933281
- Title: Golden Anchor for Video Generation
- Title(参考訳): 映像生成用ゴールデンアンカー
- Abstract要約: 我々はGolden Anchor Learning (GAL)を導入し、下流のビデオフィードバックでT2Iジェネレータを最適化し、ゴールデンアンカーを学習するための最初のフレームワークについて紹介する。
GALは、凍ったI2Vモデルで生成したビデオを通じて候補アンカーを評価し、ビデオ報酬をT2IジェネレータのDPO微調整のための画像レベルの嗜好に変換する。
GALは、VBenchの動的度合いの5.62%$-38.24%$上昇によって測定される4つのI2Vモデル全てに一貫した運動ゲインをもたらす。
- 参考スコア(独自算出の注目度): 22.955115465296092
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video generation supports digital content creation, with applications in virtual avatars, AI-driven filmmaking, interactive game engines, and world models. State-of-the-art systems achieve controllability primarily through image-to-video (I2V) generation, in which an injected anchor image determines the identity, composition, and style of the resulting video. In modern pipelines, this anchor is synthesized by a text-to-image (T2I) generator. This raises a largely overlooked question: Are images obtained directly from the T2I model truly suitable for current video models? Our analysis shows that anchor aesthetic and quality scores are weakly correlated with downstream video quality. The structure-and-texture score is negatively correlated with I2V video quality in both the visual and motion dimensions. Fine-tuning the T2I model on an image reward accordingly yields anchors with visibly denser structural and character detail: they score higher on image metrics, yet lower the video reward on every I2V model we test and change downstream motion unpredictably. We therefore introduce Golden Anchor Learning (GAL), to our knowledge the first framework for learning golden anchors by optimizing a T2I generator with downstream video feedback. GAL evaluates candidate anchors through the videos they induce under a frozen I2V model and converts video rewards into image-level preferences for DPO fine-tuning of the T2I generator. On all four I2V models, GAL raises the VBench average by $2.97\%$--$8.46\%$ over the untuned generator. The rendered clips also score higher under VideoReward-Overall, and their extracted frames under HPSv3 and UniPercept. GAL yields consistent motion gains across all four I2V models, as measured by a $5.62\%$--$38.24\%$ increase in VBench dynamic degree. Although GAL is trained only on HunyuanVideo-1.5 renders, these gains extend to the other three I2V models.
- Abstract(参考訳): ビデオ生成は、仮想アバター、AI駆動の映画製作、インタラクティブなゲームエンジン、世界モデルなど、デジタルコンテンツ作成をサポートする。
現状のシステムは、主に画像間(I2V)生成によって制御性を実現し、注入されたアンカー画像が結果のビデオのアイデンティティ、構成、スタイルを決定する。
現代のパイプラインでは、このアンカーはテキスト・トゥ・イメージ(T2I)ジェネレータによって合成される。
T2Iモデルから直接取得した画像は、現在のビデオモデルに本当に適しているのか?
分析の結果,アンカーの美観と品質スコアは下流の映像品質と弱い相関関係があることが判明した。
構造とテクスチャのスコアは、視覚次元と運動次元の両方において、I2Vビデオの品質と負の相関を持つ。
T2Iモデルを画像報酬に基づいて微調整すると、視覚的に構造とキャラクタの細部でアンカーが得られ、画像の計測値が高いが、私たちがテストし、下流の動きを変更するすべてのI2Vモデルではビデオ報酬が予測不能に低下する。
そこで,我々はGolden Anchor Learning (GAL)を導入し,下流のビデオフィードバックでT2Iジェネレータを最適化し,ゴールデンアンカーを学習するための最初のフレームワークについて紹介した。
GALは、凍ったI2Vモデルで生成したビデオを通して候補アンカーを評価し、ビデオ報酬をT2IジェネレータのDPO微調整のための画像レベルの嗜好に変換する。
4つのI2Vモデルにおいて、GALはVBench平均を2.97 %$--8.46 %$に引き上げる。
レンダリングされたクリップは VideoReward-Overall で、抽出したフレームは HPSv3 と UniPercept でスコアが上がる。
GAL は VBench の動的度合いを 5.62 %$--38.24 %$ で測定すると、4つの I2V モデルで一貫した運動の利得が得られる。
GALはHunyuanVideo-1.5レンダリングでのみトレーニングされているが、他の3つのI2Vモデルにも拡張されている。
関連論文リスト
- Waver: Wave Your Way to Lifelike Video Generation [35.927955667967204]
Waverは、統合画像およびビデオ生成のための高性能基盤モデルである。
同時に、単一の統合フレームワーク内で、テキスト・トゥ・ビデオ(T2V)、画像・トゥ・ビデオ(I2V)、テキスト・トゥ・イメージ(T2I)生成をサポートする。
ウェーバーは複雑な動きを捉え、ビデオ合成において優れた動き振幅と時間的一貫性を達成する。
論文 参考訳(メタデータ) (2025-08-21T17:56:10Z) - Still-Moving: Customized Video Generation without Customized Video Data [81.09302547183155]
テキスト・トゥ・ビデオ(T2V)モデルをカスタマイズするための新しいフレームワークであるStill-Movingを紹介する。
このフレームワークは、ビデオモデルをテキスト・トゥ・イメージ(T2I)モデル上に構築する、著名なT2V設計に適用される。
私たちは、注入されたT2I層によって生成された機能を調整する軽量な$textitSpatial Adapters$をトレーニングします。
論文 参考訳(メタデータ) (2024-07-11T17:06:53Z) - VideoElevator: Elevating Video Generation Quality with Versatile
Text-to-Image Diffusion Models [94.25084162939488]
テキスト間拡散モデル(T2V)は、フレーム品質とテキストアライメントがまだ遅れている。
我々は,T2Iの優れた機能を利用して,T2Vの性能を向上させる,トレーニングフリーでプラグアンドプレイの手法であるVideoElevatorを紹介した。
論文 参考訳(メタデータ) (2024-03-08T16:44:54Z) - Snap Video: Scaled Spatiotemporal Transformers for Text-to-Video
Synthesis [69.83405335645305]
映像生成領域に画像モデルの進化をもたらすことによって、動きの忠実度、視覚的品質、スケーラビリティを損なうことが議論されている。
この作業では、これらの課題に体系的に対処するビデオファーストモデルであるSnap Videoを構築します。
画像生成の背後にあるワークホースであるU-Netは、ビデオ生成時に低スケールであり、計算オーバーヘッドがかなり必要であることを示す。
これにより、初めて数十億のパラメータを持つテキスト・ビデオモデルを効率的にトレーニングし、多数のベンチマークで最先端の結果に到達し、はるかに高い品質、時間的一貫性、動きの複雑さの動画を生成することができる。
論文 参考訳(メタデータ) (2024-02-22T18:55:08Z) - VideoCrafter1: Open Diffusion Models for High-Quality Video Generation [97.5767036934979]
高品質ビデオ生成のための2つの拡散モデル、すなわち、テキスト・ツー・ビデオ(T2V)と画像・ツー・ビデオ(I2V)モデルを導入する。
T2Vモデルは与えられたテキスト入力に基づいてビデオを合成し、I2Vモデルは追加のイメージ入力を含む。
提案したT2Vモデルは,解像度が1024×576$のリアルで映像品質の高いビデオを生成することができる。
論文 参考訳(メタデータ) (2023-10-30T13:12:40Z) - SimDA: Simple Diffusion Adapter for Efficient Video Generation [102.90154301044095]
本稿では,強力なT2Iモデルの1.1Bパラメータのうち24Mしか微調整せず,パラメータ効率のよいビデオ生成に適応できる簡易拡散適応器(SimDA)を提案する。
野生でのT2V生成に加えて、SimDAは2分間のチューニングでワンショットビデオ編集にも使えるようになった。
論文 参考訳(メタデータ) (2023-08-18T17:58:44Z) - Tune-A-Video: One-Shot Tuning of Image Diffusion Models for
Text-to-Video Generation [31.882356164068753]
テキスト・トゥ・イメージ(T2I)生成の成功を再現するため、最近のテキスト・トゥ・ビデオ(T2V)生成では、T2V生成のためのデータセットに大量のデータセットが使用されている。
そこで本研究では,Tune-A-Videoが様々なアプリケーション上で時間的コヒーレントなビデオを生成することを提案する。
論文 参考訳(メタデータ) (2022-12-22T09:43:36Z) - Make-A-Video: Text-to-Video Generation without Text-Video Data [69.20996352229422]
Make-A-Videoは、テキスト・トゥ・イメージ(T2I)生成における最新の進歩をテキスト・トゥ・ビデオ(T2V)に変換するアプローチである。
我々は,新しい空間時空間モジュールを用いたT2Iモデル上に構築する,シンプルで効果的な手法を設計する。
空間的および時間的解像度、テキストへの忠実さ、品質など、あらゆる面で、Make-A-Videoは、テキスト・ビデオ生成における新しい最先端を定めている。
論文 参考訳(メタデータ) (2022-09-29T13:59:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。