論文の概要: RepControlNet: ControlNet Reparameterization

• arxiv url: http://arxiv.org/abs/2408.09240v1
• Date: Sat, 17 Aug 2024 16:21:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 21:39:37.411146
• Title: RepControlNet: ControlNet Reparameterization
• Title（参考訳）: RepControlNet: ControlNet Reparameterization
• Authors: Zhaoli Deng, Kaibin Zhou, Fanyi Wang, Zhenpeng Mi,
• Abstract要約: RepControlNetは計算量を増やすことなく拡散モデルの制御可能な生成を実現する。 SD1.5とSDXLの両方で多数の実験を行い,提案したRepControlNetの有効性と有効性を示した。
• 参考スコア（独自算出の注目度）: 0.562479170374811
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: With the wide application of diffusion model, the high cost of inference resources has became an important bottleneck for its universal application. Controllable generation, such as ControlNet, is one of the key research directions of diffusion model, and the research related to inference acceleration and model compression is more important. In order to solve this problem, this paper proposes a modal reparameterization method, RepControlNet, to realize the controllable generation of diffusion models without increasing computation. In the training process, RepControlNet uses the adapter to modulate the modal information into the feature space, copy the CNN and MLP learnable layers of the original diffusion model as the modal network, and initialize these weights based on the original weights and coefficients. The training process only optimizes the parameters of the modal network. In the inference process, the weights of the neutralization original diffusion model in the modal network are reparameterized, which can be compared with or even surpass the methods such as ControlNet, which use additional parameters and computational quantities, without increasing the number of parameters. We have carried out a large number of experiments on both SD1.5 and SDXL, and the experimental results show the effectiveness and efficiency of the proposed RepControlNet.
• Abstract（参考訳）: 拡散モデルの広範な応用により、推論資源の高コスト化は、その普遍的な応用において重要なボトルネックとなっている。 ControlNetのような制御可能な生成は拡散モデルの鍵となる研究方向の1つであり、推論加速度とモデル圧縮に関する研究がより重要である。 この問題を解決するために,計算量を増やすことなく拡散モデルの制御可能な生成を実現するためのモーダルリパラメータ化手法RepControlNetを提案する。 トレーニングプロセスでは、RepControlNetは、このアダプタを使用して、モーダル情報を特徴空間に変調し、元の拡散モデルのCNNおよびMLP学習可能な層をモダルネットワークとしてコピーし、元の重みと係数に基づいてこれらの重みを初期化する。 トレーニングプロセスは、モーダルネットワークのパラメータのみを最適化する。 推論過程において、モダルネットワークにおける中和原拡散モデルの重み付けは再パラメータ化され、パラメータ数を増やすことなく追加パラメータと計算量を使用するControlNetなどの手法と比較または超えることができる。 SD1.5とSDXLの両方で多数の実験を行い,提案したRepControlNetの有効性と有効性を示した。

関連論文リスト

• RCDM: Enabling Robustness for Conditional Diffusion Model [2.4915590770454035]
  条件拡散モデル(CDM)は、より多くの制御を提供することで標準拡散モデルを強化する。 CDMの逆過程における不正確な条件入力は、ニューラルネットワークの固定エラーを生じさせるのが容易である。 本稿では,ロバスト条件拡散モデル(RCDM)を提案する。
  論文  参考訳（メタデータ） (2024-08-05T13:12:57Z)
• Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review [63.31328039424469]
  このチュートリアルは、下流の報酬関数を最適化するための微調整拡散モデルのための方法を網羅的に調査する。 PPO,微分可能最適化,報酬重み付きMLE,値重み付きサンプリング,経路整合性学習など,様々なRLアルゴリズムの適用について説明する。
  論文  参考訳（メタデータ） (2024-07-18T17:35:32Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Do deep neural networks utilize the weight space efficiently? [2.9914612342004503]
  TransformersやConvolutional Neural Networks(CNN)といったディープラーニングモデルは、さまざまなドメインに革命をもたらしたが、パラメータ集約的な自然ハマーをリソース制約された設定に配置する。 重み行列の列空間と行空間を利用する新しい概念を導入し、性能を損なうことなくモデルパラメータを大幅に削減する。 私たちのアプローチはBottleneck層とAttention層の両方に適用され、パラメータを効果的に半分にします。
  論文  参考訳（メタデータ） (2024-01-26T21:51:49Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning [19.978542231976636]
  本稿では,ディープラーニングモデルにおける計算効率向上のためのパラメータとFLOPの削減手法を提案する。 本稿では,ネットワークの精度と計算効率のトレードオフを制御するために,精度と効率係数を導入する。
  論文  参考訳（メタデータ） (2023-01-26T12:32:01Z)
• Deep Hierarchy Quantization Compression algorithm based on Dynamic Sampling [11.439540966972212]
  フェデレーションされた機械学習は、トレーニングのためにデータをローカルに保存し、サーバ上でモデルを集約する。 トレーニングプロセス中、モデルパラメータの送信はネットワーク帯域にかなりの負荷を与える可能性がある。 本稿では,データ転送によるネットワーク負荷を低減し,モデルをさらに圧縮する階層的量子化圧縮アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-30T15:12:30Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。