論文の概要: Meta ControlNet: Enhancing Task Adaptation via Meta Learning
- arxiv url: http://arxiv.org/abs/2312.01255v1
- Date: Sun, 3 Dec 2023 01:36:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 18:17:25.571739
- Title: Meta ControlNet: Enhancing Task Adaptation via Meta Learning
- Title(参考訳): Meta ControlNet: メタ学習によるタスク適応の強化
- Authors: Junjie Yang, Jinze Zhao, Peihao Wang, Zhangyang Wang, Yingbin Liang
- Abstract要約: 近年,拡散に基づく画像合成が注目されている。
画像ベースのプロンプトを使用するControlNetは、キャニーエッジ検出などのイメージタスクに強力な能力を示し、これらのプロンプトによく適合した画像を生成する。
最近の文脈学習アプローチは適応性を改善しているが、主にエッジベースのタスクに向いており、ペア化された例に依存している。
本稿では,タスクに依存しないメタ学習技術を採用し,新しい層凍結設計を特徴とするMeta ControlNet法を提案する。
- 参考スコア(独自算出の注目度): 111.16980465577682
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion-based image synthesis has attracted extensive attention recently.
In particular, ControlNet that uses image-based prompts exhibits powerful
capability in image tasks such as canny edge detection and generates images
well aligned with these prompts. However, vanilla ControlNet generally requires
extensive training of around 5000 steps to achieve a desirable control for a
single task. Recent context-learning approaches have improved its adaptability,
but mainly for edge-based tasks, and rely on paired examples. Thus, two
important open issues are yet to be addressed to reach the full potential of
ControlNet: (i) zero-shot control for certain tasks and (ii) faster adaptation
for non-edge-based tasks. In this paper, we introduce a novel Meta ControlNet
method, which adopts the task-agnostic meta learning technique and features a
new layer freezing design. Meta ControlNet significantly reduces learning steps
to attain control ability from 5000 to 1000. Further, Meta ControlNet exhibits
direct zero-shot adaptability in edge-based tasks without any finetuning, and
achieves control within only 100 finetuning steps in more complex non-edge
tasks such as Human Pose, outperforming all existing methods. The codes is
available in https://github.com/JunjieYang97/Meta-ControlNet.
- Abstract(参考訳): 近年,拡散に基づく画像合成が注目されている。
特に、画像ベースのプロンプトを使用するControlNetは、キャニーエッジ検出などのイメージタスクに強力な能力を示し、これらのプロンプトによく適合した画像を生成する。
しかし、バニラコントロールネットは通常、1つのタスクの望ましい制御を達成するために5000ステップ程度の広範なトレーニングを必要とする。
最近のコンテキスト学習アプローチでは、適応性が改善されているが、主にエッジベースのタスクで、ペアの例に依存している。
そのため、2つの重要なオープンな問題がまだ解決されていない。
(i)特定のタスクに対するゼロショット制御及び
(ii)非エッジ型タスクの高速適応化。
本稿では,タスクに依存しないメタ学習技術を採用し,新しい層凍結設計を特徴とするMeta ControlNet手法を提案する。
Meta ControlNetは、5000から1000までのコントロール能力を達成するための学習ステップを著しく削減する。
さらに、Meta ControlNetは、エッジベースのタスクにおいて、微調整なしで直接ゼロショット適応性を示し、Human Poseのようなより複雑な非エッジタスクにおいて、100ステップ以内の制御を達成し、既存のメソッドを上回ります。
コードはhttps://github.com/JunjieYang97/Meta-ControlNetで公開されている。
関連論文リスト
- Enhancing Prompt Following with Visual Control Through Training-Free Mask-Guided Diffusion [27.61734719689046]
視覚制御によるプロンプト追従を強化するために,Mask-guided Prompt following (MGPF) というトレーニングフリーアプローチを提案する。
MGPFの有効性と優位性は、総合的な定量的および定性的実験によって検証される。
論文 参考訳(メタデータ) (2024-04-23T06:10:43Z) - Ctrl-Adapter: An Efficient and Versatile Framework for Adapting Diverse Controls to Any Diffusion Model [62.51232333352754]
Ctrl-Adapterは、画像/ビデオ拡散モデルに多様な制御を追加する効率的なフレームワークである。
Ctrl-Adapterは、画像制御、ビデオ制御、スパースフレームによるビデオ制御、マルチ条件制御、ビデオ編集などの機能を提供する。
多様な画像/ビデオ拡散バックボーン(SDXL、Hotshot-XL、I2VGen-XL、SVD)により、Ctrl-Adapterはコントロールネットとマッチングし、ビデオ制御のすべてのベースラインを上回っている。
論文 参考訳(メタデータ) (2024-04-15T17:45:36Z) - CCM: Adding Conditional Controls to Text-to-Image Consistency Models [89.75377958996305]
本稿では,Consistency Models に ControlNet のような条件制御を追加するための代替戦略を検討する。
軽量アダプタは、一貫性トレーニングを通じて、複数の条件下で共同で最適化することができる。
これらの3つの解は, エッジ, 奥行き, 人間のポーズ, 低解像度画像, マスキング画像など, 様々な条件制御にまたがる。
論文 参考訳(メタデータ) (2023-12-12T04:16:03Z) - ControlNet-XS: Designing an Efficient and Effective Architecture for
Controlling Text-to-Image Diffusion Models [21.379896810560282]
一般的なアプローチは、Stable Diffusionのようなトレーニング済みの画像生成モデルと組み合わせて、ControlNetのような制御ネットワークを使用することである。
本研究では,制御ネットXSと呼ばれる新しい制御アーキテクチャを提案する。
ControlNetとは対照的に、私たちのモデルはパラメータのごく一部しか必要とせず、推論やトレーニング時間の約2倍の速度です。
論文 参考訳(メタデータ) (2023-12-11T17:58:06Z) - Uni-ControlNet: All-in-One Control to Text-to-Image Diffusion Models [82.19740045010435]
ローカルコントロールとグローバルコントロールの同時利用を可能にする統合フレームワークであるUni-ControlNetを紹介した。
既存の方法とは異なり、Uni-ControlNetは、凍結した事前訓練されたテキスト-画像拡散モデル上に2つのアダプタを微調整するだけでよい。
Uni-ControlNetは、制御性、生成品質、構成性の観点から、既存のメソッドよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-05-25T17:59:58Z) - Meta-Learning Online Control for Linear Dynamical Systems [2.867517731896504]
制御設定のためのメタラーニングオンライン制御アルゴリズムを提案する。
タスク間の平均的な累積的後悔であるtextitmeta-regret によってそのパフォーマンスを特徴づける。
提案手法は,タスク数が十分に大きい場合,独立学習型オンライン制御アルゴリズムに比べて,D/D*$の小さいメタレグレットを実現する。
論文 参考訳(メタデータ) (2022-08-18T20:44:07Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2022-03-30T23:16:07Z) - A Meta-Reinforcement Learning Approach to Process Control [3.9146761527401424]
メタラーニングは、ニューラルネットワークなどのモデルを迅速に適応させ、新しいタスクを実行することを目的としています。
制御器を構築し,別の埋め込みニューラルネットワークを用いて潜在コンテキスト変数を用いて制御器をメタトレーニングする。
どちらの場合も、メタラーニングアルゴリズムは新しいタスクに非常に迅速に適応し、ゼロから訓練された通常のDRLコントローラよりも優れています。
論文 参考訳(メタデータ) (2021-03-25T18:20:56Z) - Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。
メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。
これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
論文 参考訳(メタデータ) (2020-12-14T18:05:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。