論文の概要: HyperLoRA: Parameter-Efficient Adaptive Generation for Portrait Synthesis
- arxiv url: http://arxiv.org/abs/2503.16944v1
- Date: Fri, 21 Mar 2025 08:44:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-24 14:56:49.608680
- Title: HyperLoRA: Parameter-Efficient Adaptive Generation for Portrait Synthesis
- Title(参考訳): HyperLoRA: ポートレート合成のためのパラメータ効率の良い適応生成
- Authors: Mengtian Li, Jinshu Chen, Wanquan Feng, Bingchuan Li, Fei Dai, Songtao Zhao, Qian He,
- Abstract要約: パラメータ効率のよい適応型生成手法であるHyperLoRAを導入し,適応型プラグインネットワークを用いてLoRA重みを生成する。
我々は、高光写実性、忠実性、編集性を備えたゼロショットパーソナライズされたポートレート生成を実現する。
- 参考スコア(独自算出の注目度): 11.828681423119313
- License:
- Abstract: Personalized portrait synthesis, essential in domains like social entertainment, has recently made significant progress. Person-wise fine-tuning based methods, such as LoRA and DreamBooth, can produce photorealistic outputs but need training on individual samples, consuming time and resources and posing an unstable risk. Adapter based techniques such as IP-Adapter freeze the foundational model parameters and employ a plug-in architecture to enable zero-shot inference, but they often exhibit a lack of naturalness and authenticity, which are not to be overlooked in portrait synthesis tasks. In this paper, we introduce a parameter-efficient adaptive generation method, namely HyperLoRA, that uses an adaptive plug-in network to generate LoRA weights, merging the superior performance of LoRA with the zero-shot capability of adapter scheme. Through our carefully designed network structure and training strategy, we achieve zero-shot personalized portrait generation (supporting both single and multiple image inputs) with high photorealism, fidelity, and editability.
- Abstract(参考訳): ソーシャルエンターテイメントなどの分野に不可欠な人物像合成は、最近大きな進歩を遂げている。
LoRAやDreamBoothのような個人レベルの微調整ベースの手法は、フォトリアリスティックな出力を生成できるが、個々のサンプルをトレーニングし、時間とリソースを消費し、不安定なリスクを生じさせる必要がある。
IP-Adapterのようなアダプタベースの技術は基本モデルパラメータを凍結し、ゼロショット推論を可能にするプラグインアーキテクチャを用いるが、ポートレート合成タスクでは見過ごせない自然さと認証の欠如がしばしば現れる。
本稿では,適応的なプラグインネットワークを用いてLoRA重みを生成するパラメータ効率のよい適応生成手法であるHyperLoRAを提案する。
念入りに設計したネットワーク構造とトレーニング戦略により、高光写実性、忠実性、編集性を備えたゼロショットパーソナライズされたポートレート生成(シングル画像と複数画像の入力をサポートする)を実現する。
関連論文リスト
- LoRA-X: Bridging Foundation Models with Training-Free Cross-Model Adaptation [48.22550575107633]
新しいアダプタであるCross-Model Low-Rank Adaptation (LoRA-X)は、ソースモデルとターゲットモデル間のLoRAパラメータのトレーニング不要転送を可能にする。
本実験は,テキスト・ツー・イメージ生成におけるLoRA-Xの有効性を示す。
論文 参考訳(メタデータ) (2025-01-27T23:02:24Z) - A LoRA is Worth a Thousand Pictures [28.928964530616593]
低ランク適応(LoRA)は、最小限のデータと計算を用いてアーティストのスタイルや主題を再現することができる。
画像生成やトレーニングセットの知識を必要とせずに,LoRA重みだけで効果的なスタイル記述子として機能することを示す。
ゼロショットLORAファインチューニングやモデル属性など,将来的な応用の可能性について論じる。
論文 参考訳(メタデータ) (2024-12-16T18:18:17Z) - LoRA Diffusion: Zero-Shot LoRA Synthesis for Diffusion Model Personalization [0.0]
Low-Rank Adaptation (LoRA) や他のパラメータ効率のよい微細チューニング (PEFT) 手法は、テキスト・ツー・イメージ・モデルをパーソナライズするための低メモリ、ストレージ効率のソリューションを提供する。
ハイパーネットワークモデルをトレーニングしてLoRA重みを生成することで、特定のドメインに対する競合品質を実現することができることを示す。
論文 参考訳(メタデータ) (2024-12-03T10:17:15Z) - LoRA-IR: Taming Low-Rank Experts for Efficient All-in-One Image Restoration [62.3751291442432]
高速なオールインワン画像復元を実現するために,コンパクトな低ランクの専門家を動的に活用する,フレキシブルなフレームワークであるLoRA-IRを提案する。
LoRA-IRは、劣化誘導前訓練とパラメータ効率の良い微調整の2つの訓練段階で構成されている。
実験により、LoRA-IRは計算効率を維持しつつ、14のIRタスクと29のベンチマークでSOTA性能を達成することが示された。
論文 参考訳(メタデータ) (2024-10-20T13:00:24Z) - Towards Effective User Attribution for Latent Diffusion Models via Watermark-Informed Blending [54.26862913139299]
我々は、ウォーターマークインフォームドブレンディング(TEAWIB)による潜伏拡散モデルに対する効果的なユーザ属性に向けた新しいフレームワークを提案する。
TEAWIBは、ユーザ固有の透かしを生成モデルにシームレスに統合する、ユニークな準備可能な構成アプローチを取り入れている。
TEAWIBの有効性を検証し、知覚的品質と帰属精度で最先端の性能を示す実験を行った。
論文 参考訳(メタデータ) (2024-09-17T07:52:09Z) - DiffLoRA: Generating Personalized Low-Rank Adaptation Weights with Diffusion [43.55179971287028]
DiffLoRAは、拡散モデルをハイパーネットワークとして活用し、パーソナライズされた低ランク適応重みを予測できる効率的な手法である。
これらのLoRA重みをオフザシェルのテキスト・ツー・イメージモデルに組み込むことで、推論中にゼロショットのパーソナライズが可能になる。
本稿では、DiffLoRAのトレーニングプロセスを容易にするために、新しいアイデンティティ指向のLoRA重み付けパイプラインを提案する。
論文 参考訳(メタデータ) (2024-08-13T09:00:35Z) - TriLoRA: Integrating SVD for Advanced Style Personalization in Text-to-Image Generation [5.195293792493412]
本稿では,Singular Value DecompositionをLo-Rank Adaptation (LoRA)パラメータ更新戦略に統合する革新的な手法を提案する。
LoRAフレームワークにSVDを組み込むことで、オーバーフィッティングのリスクを効果的に低減できるだけでなく、モデル出力の安定性も向上する。
論文 参考訳(メタデータ) (2024-05-18T09:29:00Z) - E$^{2}$GAN: Efficient Training of Efficient GANs for Image-to-Image Translation [69.72194342962615]
拡散モデルからGANを蒸留するプロセスは、より効率的にできるのか?
まず、一般化された特徴を持つベースGANモデルを構築し、微調整により異なる概念に適応し、スクラッチからトレーニングの必要性を排除した。
第2に,ベースモデル全体の微調整を行うのではなく,低ランク適応(LoRA)を簡易かつ効果的なランク探索プロセスで行う。
第3に、微調整に必要な最小限のデータ量を調査し、トレーニング時間を短縮する。
論文 参考訳(メタデータ) (2024-01-11T18:59:14Z) - Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。
本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。
LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2022-09-26T22:22:30Z) - Characteristic Regularisation for Super-Resolving Face Images [81.84939112201377]
既存の顔画像超解像法(SR)は、主に人工的にダウンサンプリングされた低解像度(LR)画像の改善に焦点を当てている。
従来の非教師なしドメイン適応(UDA)手法は、未ペアの真のLRとHRデータを用いてモデルをトレーニングすることでこの問題に対処する。
これにより、視覚的特徴を構成することと、画像の解像度を高めることの2つのタスクで、モデルをオーバーストレッチする。
従来のSRモデルとUDAモデルの利点を結合する手法を定式化する。
論文 参考訳(メタデータ) (2019-12-30T16:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。