論文の概要: Few-Shot-Based Modular Image-to-Video Adapter for Diffusion Models

• arxiv url: http://arxiv.org/abs/2512.20000v2
• Date: Wed, 31 Dec 2025 02:39:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 13:52:31.583106
• Title: Few-Shot-Based Modular Image-to-Video Adapter for Diffusion Models
• Title（参考訳）: 拡散モデルのためのFew-Shot-based Modular Image-to-Video Adapter
• Authors: Zhenhao Li, Shaohan Yi, Zheng Liu, Leonartinus Gao, Minh Ngoc Le, Ambrose Ling, Zhuoran Wang, Md Amirul Islam, Zhixiang Chi, Yuanhao Yu,
• Abstract要約: 拡散モデル(DM)は近年,画像およびビデオ生成において印象的なフォトリアリズムを実現している。 DMはトレーニングセットに存在しない新しい動きパターンを一般化するのに苦労する。 トレーニング済みDMにアタッチ可能な軽量サブネットワークであるMIVA(Modular Image-to-Video Adapter)を提案する。
• 参考スコア（独自算出の注目度）: 16.381660228819936
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Diffusion models (DMs) have recently achieved impressive photorealism in image and video generation. However, their application to image animation remains limited, even when trained on large-scale datasets. Two primary challenges contribute to this: the high dimensionality of video signals leads to a scarcity of training data, causing DMs to favor memorization over prompt compliance when generating motion; moreover, DMs struggle to generalize to novel motion patterns not present in the training set, and fine-tuning them to learn such patterns, especially using limited training data, is still under-explored. To address these limitations, we propose Modular Image-to-Video Adapter (MIVA), a lightweight sub-network attachable to a pre-trained DM, each designed to capture a single motion pattern and scalable via parallelization. MIVAs can be efficiently trained on approximately ten samples using a single consumer-grade GPU. At inference time, users can specify motion by selecting one or multiple MIVAs, eliminating the need for prompt engineering. Extensive experiments demonstrate that MIVA enables more precise motion control while maintaining, or even surpassing, the generation quality of models trained on significantly larger datasets.
• Abstract（参考訳）: 拡散モデル(DM)は近年,画像およびビデオ生成において印象的なフォトリアリズムを実現している。 しかし、大規模なデータセットでトレーニングされた場合でも、画像アニメーションへの応用は限定的のままである。 ビデオ信号の高次元性はトレーニングデータの不足を招き、運動生成時の即時コンプライアンスよりもDMの記憶を優先させる。さらに、DMはトレーニングセットに存在しない新しい動きパターンへの一般化に苦慮する。 これらの制約に対処するため,本研究では,訓練済みDMにアタッチ可能な軽量サブネットワークであるModular Image-to-Video Adapter (MIVA)を提案する。 MIVAは、1つのコンシューマグレードのGPUを使用して、およそ10のサンプルで効率的にトレーニングすることができる。 推測時には、ユーザは1つまたは複数のMIVAを選択して動きを指定でき、プロンプトエンジニアリングの必要性を排除できる。 大規模な実験では、MIVAはより大きなデータセットでトレーニングされたモデルの生成品質を維持しながら、より正確なモーションコントロールを可能にしている。

関連論文リスト

• MotionDiff: Training-free Zero-shot Interactive Motion Editing via Flow-assisted Multi-view Diffusion [20.142107033583027]
  MotionDiffは、複雑な多視点モーション編集に光フローを利用する、トレーニング不要なゼロショット拡散法である。 これは、高品質な多視点一貫した運動結果を達成するために、他の物理学ベースの生成運動編集法よりも優れている。 MotionDiffは再トレーニングを必要としないので、ユーザは様々なダウンストリームタスクに便利に適応できる。
  論文  参考訳（メタデータ） (2025-03-22T08:32:56Z)
• MoTrans: Customized Motion Transfer with Text-driven Video Diffusion Models [59.10171699717122]
  MoTransは、新しいコンテキストにおける類似した動きのビデオ生成を可能にする、カスタマイズされたモーション転送方式である。 再カプセル化されたプロンプトとビデオフレームからのマルチモーダル表現は、外観のモデリングを促進する。 本手法は, 特定の動きパターンを, 単一の参照ビデオや複数参照ビデオから効果的に学習する。
  論文  参考訳（メタデータ） (2024-12-02T10:07:59Z)
• CustomCrafter: Customized Video Generation with Preserving Motion and Concept Composition Abilities [56.5742116979914]
  CustomCrafterは、追加のビデオやリカバリのための微調整なしで、モデルの動き生成と概念的な組み合わせ能力を保持する。 動作生成では,VDMが早期に映像の動きを回復する傾向が見られた。 復調の後期では、特定対象の外観詳細を修復するために、このモジュールを復元する。
  論文  参考訳（メタデータ） (2024-08-23T17:26:06Z)
• Pix2Gif: Motion-Guided Diffusion for GIF Generation [70.64240654310754]
  画像からGIF(ビデオ)生成のための移動誘導拡散モデルPix2Gifを提案する。 本研究では,2種類のプロンプトに条件付きソース画像の特徴を空間的に変換する動き誘導型ワープモジュールを提案する。 モデルトレーニングの準備として、TGIFビデオキャプチャデータセットからコヒーレントな画像フレームを抽出し、精巧にデータをキュレートした。
  論文  参考訳（メタデータ） (2024-03-07T16:18:28Z)
• Mug-STAN: Adapting Image-Language Pretrained Models for General Video Understanding [47.97650346560239]
  マルチガイドアライメントモジュール(Mug-STAN)を用いた空間時間補助ネットワークを提案する。 Mug-STANは、CLIPやCoCaといった言語画像事前学習モデルの、ビデオテキスト後トレーニングと微調整の段階における適応性を著しく改善する。
  論文  参考訳（メタデータ） (2023-11-25T17:01:38Z)
• MA-FSAR: Multimodal Adaptation of CLIP for Few-Shot Action Recognition [41.78245303513613]
  我々は,行動に関連する時間的および意味的表現の観点からCLIP視覚エンコーダを強化するために,Fine-Tuning(PEFT)技術を利用するフレームワークであるMA-FSARを紹介する。 これらのトークンレベルの設計に加えて,ビデオプロトタイプの時間的・意味的特性をさらに強化するプロトタイプレベルのテキストガイド構築モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-03T04:17:25Z)
• GPT4Image: Large Pre-trained Models Help Vision Models Learn Better on Perception Task [47.1857510710807]
  我々はGPT4Imageと呼ばれる新しい学習フレームワークを提案し、CNNやViTがより良い表現を学ぶのに役立つ大規模な事前学習モデルの知識を抽出する。 本研究では,様々な視覚認知タスクにおける提案アルゴリズムの有効性を検証するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-06-01T14:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。