論文の概要: Low-Rank Continual Personalization of Diffusion Models

• arxiv url: http://arxiv.org/abs/2410.04891v1
• Date: Mon, 7 Oct 2024 10:19:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 01:27:55.628051
• Title: Low-Rank Continual Personalization of Diffusion Models
• Title（参考訳）: 拡散モデルの低ランク連続パーソナライズ
• Authors: Łukasz Staniszewski, Katarzyna Zaleska, Kamil Deja,
• Abstract要約: 近年のDreamboothのような拡散モデルのパーソナライズ手法では、事前訓練されたモデルを微調整して新しい概念を生成することができる。 これらのテクニックを複数のタスクに適用して、いくつかの新しいオブジェクトやスタイルを含むようにすることで、アダプタ間の相互干渉につながる。 実験の結果, 提案手法は, ナチブアプローチと比較して, 忘れを軽減できることがわかった。
• 参考スコア（独自算出の注目度）: 3.5707423185282665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent personalization methods for diffusion models, such as Dreambooth, allow fine-tuning pre-trained models to generate new concepts. However, applying these techniques across multiple tasks in order to include, e.g., several new objects or styles, leads to mutual interference between their adapters. While recent studies attempt to mitigate this issue by combining trained adapters across tasks after fine-tuning, we adopt a more rigorous regime and investigate the personalization of large diffusion models under a continual learning scenario, where such interference leads to catastrophic forgetting of previous knowledge. To that end, we evaluate the na\"ive continual fine-tuning of customized models and compare this approach with three methods for consecutive adapters' training: sequentially merging new adapters, merging orthogonally initialized adapters, and updating only relevant parameters according to the task. In our experiments, we show that the proposed approaches mitigate forgetting when compared to the na\"ive approach.
• Abstract（参考訳）: 近年のDreamboothのような拡散モデルのパーソナライズ手法では、微調整された事前学習モデルによって新しい概念が生成される。 しかし、いくつかの新しいオブジェクトやスタイルを含むように、これらのテクニックを複数のタスクに適用すると、アダプタ間の相互干渉が発生する。 近年の研究では、微調整後のタスク間で訓練されたアダプタを組み合わせることでこの問題を緩和しようとしているが、より厳密な体制を採用し、継続的な学習シナリオの下で大きな拡散モデルのパーソナライズについて検討している。 この目的のために、我々は、カスタマイズされたモデルの「連続的な微調整」を評価し、この手法を、連続的なアダプタの訓練のための3つの方法と比較した。 実験では, 提案手法は, na\" アプローチと比較して, 忘れを緩和することを示した。

関連論文リスト

• Joint Diffusion models in Continual Learning [4.013156524547073]
  共同拡散モデルに基づく生成的リハーサルを用いた連続学習法であるJDCLを紹介する。 生成的再生に基づく連続学習手法は、生成的モデルからサンプリングされた新しいデータとリハーサルデータを組み合わせたモデルの再学習によってこの問題を緩和しようとする。 このような共有パラメトリゼーションと知識蒸留技術を組み合わせることで、破滅的な忘れをせずに新しいタスクに安定した適応ができることを示す。
  論文  参考訳（メタデータ） (2024-11-12T22:35:44Z)
• Sparse Orthogonal Parameters Tuning for Continual Learning [34.462967722928724]
  事前学習モデル(PTM)に基づく連続学習手法が近年注目されている。 本稿では,SoTU(Sparse Orthogonal Parameters TUning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T05:19:09Z)
• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Combining Denoising Autoencoders with Contrastive Learning to fine-tune Transformer Models [0.0]
  本研究は,分類タスクのベースモデルを調整するための3段階手法を提案する。 我々は,DAE(Denoising Autoencoder)を用いたさらなるトレーニングを行うことで,モデルの信号をデータ配信に適用する。 さらに、教師付きコントラスト学習のための新しいデータ拡張手法を導入し、不均衡なデータセットを修正する。
  論文  参考訳（メタデータ） (2024-05-23T11:08:35Z)
• Semantically-Shifted Incremental Adapter-Tuning is A Continual ViTransformer [44.10678347943115]
  クラスインクリメンタルラーニング(CIL)は、モデルが破滅的な忘れを克服しつつ、新しいクラスを継続的に学習できるようにすることを目的としている。 本稿では,連続学習の文脈において,異なるパラメータ効率チューニング(PET)手法を再検討する。 適応チューニングは,各学習セッションにおいてパラメータ拡張がなくても,プロンプトベースの手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-29T05:23:12Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Phasic Content Fusing Diffusion Model with Directional Distribution Consistency for Few-Shot Model Adaption [73.98706049140098]
  本稿では,方向分布の整合性を損なう少数ショット拡散モデルを用いた新しいファシックコンテンツを提案する。 具体的には、ファシックコンテンツ融合を用いたファシックトレーニング戦略を設計し、tが大きければ、モデルがコンテンツやスタイル情報を学ぶのに役立てる。 最後に、ドメイン適応時の構造整合性を高めるクロスドメイン構造ガイダンス戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-07T14:14:11Z)
• Parameter-efficient Modularised Bias Mitigation via AdapterFusion [22.424110883305243]
  本稿では,モデルから分離したスタンドアロンデバイアス機能を開発するための新しい手法を提案する。 DAM - まず任意のバイアス緩和機能を個別のアダプタにカプセル化し、それをオンデマンドでモデルに追加するデバイアスのアプローチを紹介します。 以上の結果から,DAMはバイアス軽減の有効性を向上・維持し,マルチ属性シナリオでの忘れを回避し,タスク性能の維持を図っている。
  論文  参考訳（メタデータ） (2023-02-13T12:39:45Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。