論文の概要: MagicPrompt: Ultra-Lightweight Prompt Tuning for Video Generation

• arxiv url: http://arxiv.org/abs/2607.14595v1
• Date: Thu, 16 Jul 2026 05:46:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.005222
• Title: MagicPrompt: Ultra-Lightweight Prompt Tuning for Video Generation
• Title（参考訳）: MagicPrompt:ビデオ生成のための超軽量プロンプトチューニング
• Authors: Yinhan Zhang, Dinwei Tan, Xianghao Kong, Yue Ma, Yeying Jin, Anyi Rao,
• Abstract要約: 大規模ビデオ拡散モデル(VDM)は、強力な世代性能を提供するが、下流タスクの完全な微調整は、計算コストを禁ずる。 極端パラメータ効率と安定報酬最適化を実現する軽量フレームワークであるMagicPromptを提案する。 実験によると、MagicPromptは1%未満のトレーニング可能なパラメータで競争力に到達し、特にトレーニングコストを削減している。
• 参考スコア（独自算出の注目度）: 22.86867666288318
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large-scale video diffusion models (VDMs) deliver strong generation performance, but full fine-tuning for downstream tasks incurs prohibitive computational costs. Existing parameter-efficient fine-tuning (PEFT) methods have two critical flaws on billion-scale models: they still require substantial trainable parameters, and reward-based training suffers from noise-induced optimization instability in condition-guided tasks. We propose MagicPrompt, a lightweight framework that achieves extreme parameter efficiency and stable reward optimization. It first adopts Attention-Embedded Prompt Tuning, which steers generation via lightweight soft prompts with orders of magnitude fewer parameters while preserving pre-trained knowledge. It further introduces Dual-Space Reward Feedback Optimization, which uses self-supervised latent objectives to improve condition-guided reward training. Experiments show MagicPrompt reaches competitive performance with less than 1\% trainable parameters and notably reduces training costs.
• Abstract（参考訳）: 大規模ビデオ拡散モデル(VDM)は、強力な世代性能を提供するが、下流タスクの完全な微調整は、計算コストを禁ずる。 既存のパラメータ効率の微調整(PEFT)法は、10億規模のモデルに2つの重大な欠陥がある。 極端パラメータ効率と安定報酬最適化を実現する軽量フレームワークであるMagicPromptを提案する。 まず、Attention-Embeded Prompt Tuningを採用し、これは軽量なソフトプロンプトを通じて、事前訓練された知識を維持しながら、桁違いに少ないパラメータで生成する。 さらに、Dual-Space Reward Feedback Optimizationを導入し、自己教師付き潜在目標を用いて条件付き報酬トレーニングを改善する。 実験によると、MagicPromptはトレーニング可能なパラメータが1\%未満で、競争性能に到達し、特にトレーニングコストを削減している。

関連論文リスト

• Train Less, Infer Faster: Efficient Model Finetuning and Compression via Structured Sparsity [21.090365337326414]
  数十億のパラメータを持つ基礎言語モデル(LM)は、高い計算コスト、メモリ要求、過度に適合するリスクのために、しばしば実用的ではない。 トレーニングゲートを用いたスパシフィケーションによる効果的なファインタニング手法を提案する。 実験結果から、最近の微調整ベースラインの効率と性能に優れることが示された。
  論文  参考訳（メタデータ） (2026-02-09T20:20:29Z)
• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• FPS: Feedforward-based Parameter Selection For Efficient Fine-Tuning [10.272085741815921]
  本稿では,FPS(Feedforward-based Selection)を提案する。 FPSは、その大きさと対応する入力アクティベーションの産物によってパラメータをランク付けし、事前訓練された知識と下流のデータの両方を活用する。 FPSは最先端のメソッドに匹敵するパフォーマンスを実現し、ピークメモリ使用量を9倍近く削減した。
  論文  参考訳（メタデータ） (2025-10-31T10:44:16Z)
• ULPT: Prompt Tuning with Ultra-Low-Dimensional Optimization [26.16200284965289]
  大規模言語モデルは最先端のパフォーマンスを実現するが、そのサイズのため微調整にはコストがかかる。 低次元空間におけるプロンプトを最適化する超低次元プロンプトチューニング(ULPT)を提案する。 提案する理論解析により, ランダム・プロジェクションは高階構造を効果的に捉えることができ, 実験結果から既存のパラメータ効率の手法に比べてUの競合性能が示された。
  論文  参考訳（メタデータ） (2025-02-06T21:00:29Z)
• LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models [20.5908375260123]
  モデル性能を維持しながら計算効率のよい微調整を実現するために,様々なパラメータ効率の微調整技術が提案されている。 テンソル-トレイン分解によりトレーニング可能なパラメータを大幅に削減するフレームワークであるLoRETTAを提案する。 LoRETTAは、LLaMA-2-7Bモデルで最大100倍のパラメータで、最も広く使われているPEFT法よりも同等または優れた性能を実現している。
  論文  参考訳（メタデータ） (2024-02-18T01:20:00Z)
• APT: Adaptive Pruning and Tuning Pretrained Language Models for Efficient Training and Inference [63.52244442498831]
  大規模言語モデル(LM)による微調整と推論は一般的に高価であることが知られている。 LMのパラメータを適応的にプーンし調整するAPTを導入する。 APTは、LMの微調整を最大8倍高速化し、LMのメモリトレーニングのフットプリントを最大70%削減する。
  論文  参考訳（メタデータ） (2024-01-22T18:39:40Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• A Fast and Efficient Conditional Learning for Tunable Trade-Off between Accuracy and Robustness [11.35810118757863]
  クリーンかつ逆摂動画像上でのSOTA(State-of-the-art)性能を実現する既存のモデルは、FiLM(Feature-wise linear modulation)層を条件とした畳み込み操作に依存している。 既存のFiLMベースの条件付けの代わりに、付加層を必要としない独特な重み付き学習を行うFLOATアルゴリズムを提案する。 特に、重みテンソルにスケールドノイズを加え、クリーンな性能と対向的な性能のトレードオフを可能にする。
  論文  参考訳（メタデータ） (2022-03-28T19:25:36Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。