論文の概要: FrameForge: Harnessing Priors of Video Foundation Models for Unified Image Generation

• arxiv url: http://arxiv.org/abs/2610.36545v1
• Date: Tue, 27 Oct 2026 02:59:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.47078
• Title: FrameForge: Harnessing Priors of Video Foundation Models for Unified Image Generation
• Title（参考訳）: FrameForge: 統一画像生成のためのビデオファンデーションモデルのハーネス化
• Abstract要約: 統一条件画像生成は、ターゲット画像を生成しながら視覚入力の異なる側面を保存するために単一のモデルを必要とする。 本稿では,入力適応型仮想時間関係をキャプチャするFrameForgeを提案する。 実験により、FrameForgeは、被写体駆動生成、キャニー・ツー・イメージ生成、画像編集において優れた性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 55.99155095279236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified conditional image generation requires a single model to preserve different aspects of a visual input while producing a target image that follows textual guidance. Pretrained video models provide a promising foundation by encoding visual transformations across time, yet existing approaches typically assign the condition and target to fixed temporal positions. We observe that condition-target relationships vary substantially across generation tasks, while video models naturally encode visual transformations at different temporal scales. This motivates us to model conditional generation through input-adaptive virtual temporal relations. We propose FrameForge, which captures two complementary aspects of such relations. Mixture of Temporal Experts (MoTE) models how far the target lies from the condition by dynamically selecting temporal RoPE experts with different virtual intervals. Chain of Temporal Reasoning (CoTR) models how the condition is transformed into the target through a latent intermediate state, with a reasoning-bottleneck attention mask encouraging information propagation through this pathway. Experiments on DreamBench, COCO2017, and GEdit-Bench show that FrameForge achieves superior performance in subject-driven generation, canny-to-image generation, and image editing among the compared methods.
• Abstract（参考訳）: 統一条件画像生成は、テキストガイダンスに従うターゲット画像を生成しながら、視覚入力の異なる側面を保存するために単一のモデルを必要とする。 事前訓練されたビデオモデルは、時間にわたって視覚的変換を符号化することで、有望な基盤を提供するが、既存のアプローチでは、通常、条件とターゲットを固定された時間的位置に割り当てる。 映像モデルは時間スケールの異なる視覚変換を自然にエンコードするのに対し、条件-対象関係は生成タスクによって大きく異なる。 これにより、入力適応仮想時間関係による条件生成をモデル化する動機付けとなる。 このような関係の2つの相補的な側面をキャプチャするFrameForgeを提案する。 時間的専門家の混合(Mixture of Temporal Experts, MoTE)は、仮想間隔の異なる時間的 RoPE 専門家を動的に選択することで、ターゲットが状態からどれくらい離れているかをモデル化する。 CoTR (Chain of Temporal Reasoning) は、状態が潜在中間状態を通してターゲットに変換される様子をモデル化する。 DreamBench、COCO2017、GEdit-Benchの実験では、FrameForgeは、被験者駆動生成、キャニー・ツー・イメージ生成、画像編集において優れたパフォーマンスを達成している。

関連論文リスト

• Imagine Before You Draw: Visual Prompt Engineering for Image Generation [67.81347924426714]
  内部フレームワークにシームレスに統合可能なVisual Prompt Engineering (VPE)を提案する。 我々は,クラス条件生成,テキスト・ツー・イメージ生成,画像編集にまたがってVPEを検証する。 その結果, VPEはコンバージェンスを加速し, 天井の質を高め, 内部統合により, 編集保存性を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2026-06-03T05:01:36Z)
• AlcheMinT: Fine-grained Temporal Control for Multi-Reference Consistent Video Generation [58.844504598618094]
  本稿では、被験者駆動ビデオ生成のための明示的なタイムスタンプ条件付きフレームワークAlcheMinTを提案する。 提案手法では,時間間隔の符号化を解き放つ新しい位置符号化機構を導入する。 我々は、視覚的アイデンティティとビデオキャプションの結合を強化するために、主観記述型テキストトークンを導入し、世代間あいまいさを緩和する。
  論文  参考訳（メタデータ） (2025-12-11T18:59:34Z)
• iMontage: Unified, Versatile, Highly Dynamic Many-to-many Image Generation [60.66986667921744]
  iMontageは、強力なビデオモデルをオールインワンイメージジェネレータに再利用するために設計された統一されたフレームワークである。 本稿では,データキュレーションプロセスとトレーニングパラダイムを補完するエレガントで最小限の適応戦略を提案する。 このアプローチにより、モデルは、その貴重な元の動きを損なうことなく、広い画像操作能力を得ることができる。
  論文  参考訳（メタデータ） (2025-11-25T18:54:16Z)
• EIDT-V: Exploiting Intersections in Diffusion Trajectories for Model-Agnostic, Zero-Shot, Training-Free Text-to-Video Generation [26.888320234592978]
  ゼロショット、トレーニングなし、画像ベースのテキスト・ツー・ビデオ生成は、既存の画像ベースの拡散モデルを用いてビデオを生成することを目的とした新興分野である。 拡散軌道の交叉を用いて,潜在値のみを扱うモデルに依存しない手法を提案する。 文脈内で訓練されたLLMはコヒーレントなフレームワイドプロンプトを生成するために使用され、もう1つはフレーム間の差異を特定するために使用される。 提案手法は,多様な画像生成モデルを扱う場合,より柔軟でありながら,最先端の性能が向上する。
  論文  参考訳（メタデータ） (2025-04-09T13:11:09Z)
• RealGeneral: Unifying Visual Generation via Temporal In-Context Learning with Video Models [22.042487298092883]
  RealGeneralは、条件付きフレーム予測タスクとして画像生成を再構成する新しいフレームワークである。 カスタマイズされた生成の被写体類似性が14.5%向上し、キャニー・ツー・イメージの画質が10%向上した。
  論文  参考訳（メタデータ） (2025-03-13T14:31:52Z)
• Consistent Human Image and Video Generation with Spatially Conditioned Diffusion [82.4097906779699]
  一貫性のある人中心画像とビデオ合成は、所定の参照画像との外観整合性を維持しつつ、新しいポーズを持つ画像を生成することを目的としている。 我々は,課題を空間条件付き塗装問題とみなし,対象画像をインペイントして参照との外観整合性を維持する。 このアプローチにより、参照機能により、統一された認知ネットワーク内でのポーズ準拠のターゲットの生成をガイドすることができる。
  論文  参考訳（メタデータ） (2024-12-19T05:02:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。