論文の概要: APT: Adaptive Personalized Training for Diffusion Models with Limited Data

• arxiv url: http://arxiv.org/abs/2507.02687v1
• Date: Thu, 03 Jul 2025 14:58:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:16.485898
• Title: APT: Adaptive Personalized Training for Diffusion Models with Limited Data
• Title（参考訳）: APT:限定データ付き拡散モデルのための適応的パーソナライズドトレーニング
• Authors: JungWoo Chae, Jiyoon Kim, JaeWoong Choi, Kyungyul Kim, Sangheum Hwang,
• Abstract要約: 本稿では、適応的なトレーニング戦略を採用し、微調整中にモデルの内部表現を規則化することで過度な適合を緩和する新しいフレームワークを提案する。 広範な実験を通じて、APTは過剰適合を効果的に軽減し、事前知識を保存し、参照データに制限のある高品質で多様な画像を生成する既存の手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 6.455553965143672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalizing diffusion models using limited data presents significant challenges, including overfitting, loss of prior knowledge, and degradation of text alignment. Overfitting leads to shifts in the noise prediction distribution, disrupting the denoising trajectory and causing the model to lose semantic coherence. In this paper, we propose Adaptive Personalized Training (APT), a novel framework that mitigates overfitting by employing adaptive training strategies and regularizing the model's internal representations during fine-tuning. APT consists of three key components: (1) Adaptive Training Adjustment, which introduces an overfitting indicator to detect the degree of overfitting at each time step bin and applies adaptive data augmentation and adaptive loss weighting based on this indicator; (2)Representation Stabilization, which regularizes the mean and variance of intermediate feature maps to prevent excessive shifts in noise prediction; and (3) Attention Alignment for Prior Knowledge Preservation, which aligns the cross-attention maps of the fine-tuned model with those of the pretrained model to maintain prior knowledge and semantic coherence. Through extensive experiments, we demonstrate that APT effectively mitigates overfitting, preserves prior knowledge, and outperforms existing methods in generating high-quality, diverse images with limited reference data.
• Abstract（参考訳）: 限定データを用いた拡散モデルのパーソナライズは、過度な適合、事前知識の喪失、テキストアライメントの低下など、重大な課題を示す。 過度に適合すると、ノイズ予測分布が変化し、ノイズ予測軌道が乱れ、モデルのセマンティックコヒーレンスが失われる。 本稿では、適応的なトレーニング戦略を採用し、微調整中にモデルの内部表現を規則化することにより過度適合を緩和する新しいフレームワークである適応パーソナライズドトレーニング(APT)を提案する。 APTは,(1)適応的トレーニング調整(Adaptive Training Adjustment),(1)適応的トレーニング調整(Adaptive Training Adjustment),(2)適応的データ拡張と適応的損失重み付け(Adaptive Data Augmentation and Adaptive Los weighting)の3つの要素から構成される。 広範な実験を通じて、APTは過剰適合を効果的に軽減し、事前知識を保ち、参照データに制限のある高品質で多様な画像を生成する既存の手法より優れていることを示す。

関連論文リスト

• Orthogonal Projection Subspace to Aggregate Online Prior-knowledge for Continual Test-time Adaptation [67.80294336559574]
  連続テスト時間適応(CTTA)は、新しいシナリオに継続的に適応するために、ソース事前訓練されたモデルを必要とするタスクである。 我々は、OoPkと呼ばれるオンライン事前知識を集約する新しいパイプラインOrthogonal Projection Subspaceを提案する。
  論文  参考訳（メタデータ） (2025-06-23T18:17:39Z)
• Conformal Prediction for Zero-Shot Models [20.94974284175104]
  分割共形予測パラダイムに基づくCLIPモデルの能力について検討する。 本稿では、キャリブレーションとクエリセットを併用してトランスダクティブを動作させるトランスダクティブ学習環境であるConf-OTを提案する。
  論文  参考訳（メタデータ） (2025-05-30T15:16:19Z)
• E2ED^2:Direct Mapping from Noise to Data for Enhanced Diffusion Models [15.270657838960114]
  拡散モデルは、視覚的生成モデリングにおけるデファクト・プライマリ・パラダイムとして確立されてきた。 最終生成サンプルから初期雑音への直接最適化を実現する新しいエンドツーエンド学習パラダイムを提案する。 Fr'eche't Inception Distance (FID) と CLIP のスコアは,サンプリングステップが少なくても大幅に向上する。
  論文  参考訳（メタデータ） (2024-12-30T16:06:31Z)
• Continual Human Pose Estimation for Incremental Integration of Keypoints and Pose Variations [12.042768320132694]
  本稿では,連続的な学習課題として,データセット間のポーズ推定を再構成する。 我々は、破滅的な忘れを緩和するための確立された正規化に基づく手法に対して、この定式化をベンチマークする。 提案手法は,既存の正規化に基づく継続学習戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-30T16:29:30Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Unmasking Bias in Diffusion Model Training [40.90066994983719]
  拡散モデルが画像生成の主流のアプローチとして登場した。 トレーニングの収束が遅く、サンプリングのカラーシフトの問題に悩まされている。 本稿では,これらの障害は,既定のトレーニングパラダイムに固有のバイアスや準最適性に大きく起因していると考えられる。
  論文  参考訳（メタデータ） (2023-10-12T16:04:41Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。