論文の概要: Filtering Memorization from Parameter-Space in Diffusion Models
- arxiv url: http://arxiv.org/abs/2605.10439v1
- Date: Mon, 11 May 2026 12:09:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.795558
- Title: Filtering Memorization from Parameter-Space in Diffusion Models
- Title（参考訳）: 拡散モデルにおけるパラメータ空間からのフィルタリング記憶
- Authors: Yu Zhe, Yang Jiayan, Wei Junhao, Yu-Lin Tsai, Wang Chen,
- Abstract要約: Low-Rank Adaptation (LoRA) は拡散モデルのカスタマイズに広く用いられているメカニズムとなっている。
LoRAはトレーニングイメージを記憶し、生成した出力が著作権やセンシティブなコンテンツを再生する。
ポストホック記憶の緩和のためのトレーニングフリーでデータフリーなフレームワークである textbfBase-Anchored Filtering (BAF) を提案する。
- 参考スコア（独自算出の注目度）: 8.434858464105508
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-Rank Adaptation (LoRA) has become a widely used mechanism for customizing diffusion models, enabling users to inject new visual concepts or styles through lightweight parameter updates. However, LoRAs can memorize training images, causing generated outputs to reproduce copyrighted or sensitive content. This risk is particularly concerning in LoRA-sharing ecosystems, where users distribute trained LoRAs without releasing the underlying training data. Existing approaches for mitigating memorization rely on access to the training pipeline, training data, or control over the inference process, making them difficult to apply when only the released LoRA weights are available. We propose \textbf{Base-Anchored Filtering (BAF)}, a training-free and data-free framework for post-hoc memorization mitigation in diffusion LoRAs. BAF decomposes LoRA updates into spectral channels and measures their alignment with the principal subspace of the pretrained backbone. Channels strongly aligned with this subspace are retained as generalizable adaptations, while weakly aligned channels are suppressed as potential carriers of memorized content. Experiments on multiple datasets and diffusion backbones demonstrate that BAF consistently reduces memorization while preserving or even improving generation quality. Our code is available in the supplementary material.
- Abstract（参考訳）: Low-Rank Adaptation (LoRA)は拡散モデルをカスタマイズするための広く使われているメカニズムとなり、ユーザーは軽量なパラメータ更新によって新しい視覚概念やスタイルを注入できるようになった。
しかし、LoRAはトレーニングイメージを記憶することができ、生成した出力が著作権やセンシティブなコンテンツを再現する。
このリスクは、トレーニングデータを公開せずにトレーニング済みのLoRAを配布するLoRA共有エコシステムに特に関係している。
メモ化を緩和するための既存のアプローチは、トレーニングパイプラインへのアクセス、トレーニングデータ、推論プロセスの制御に依存しているため、リリースされたLoRA重みだけでは適用が難しい。
拡散型LORAにおける時間後記憶の緩和のためのトレーニングフリーでデータフリーなフレームワークである「textbf{Base-Anchored Filtering (BAF)」を提案する。
BAFはLoRA更新をスペクトルチャネルに分解し、トレーニング済みのバックボーンの主部分空間とのアライメントを測定する。
この部分空間に強く整列したチャネルは一般化可能な適応として保持され、弱い整列したチャネルは記憶されたコンテンツの潜在的キャリアとして抑制される。
複数のデータセットと拡散バックボーンの実験により、BAFは、生成品質を保存または改善しながら、記憶を一貫して減少させる。
私たちのコードは補足資料で利用可能です。
関連論文リスト
- Steering Away from Memorization: Reachability-Constrained Reinforcement Learning for Text-to-Image Diffusion [44.47036589940717]
現在の緩和戦略は、通常、暗記を減らすために画像の品質を犠牲にするか、迅速にアライメントする。
本稿では,生成の忠実さを保ちながら記憶を防止する推論時フレームワークであるReachability-Aware Diffusion Steering (RADS)を提案する。
RADSは拡散復調過程を力学系としてモデル化し、到達可能性解析の概念を適用して「後方到達管」を近似する。
論文 参考訳（メタデータ） (2026-02-24T09:07:08Z) - Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。
本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。
勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
論文 参考訳（メタデータ） (2026-02-18T13:41:41Z) - Latent Space Factorization in LoRA [10.994747174370099]
低ランク適応 (LoRA) はパラメータ効率の高い微調整法として広く用いられている。
本稿ではFVAE-LoRA(Facterized Variational Autoencoder LoRA)を提案する。
また,本論文のエビデンス・ロウアー・バウンドの定式化は,潜在空間間の分解を明示的に促進し,一方の潜在空間をタスク・サレントな特徴に,他方の残余情報に割り当てるものである。
論文 参考訳（メタデータ） (2025-10-22T14:37:20Z) - Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。
提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。
トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
論文 参考訳（メタデータ） (2025-07-28T11:52:56Z) - SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。
本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。
SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
論文 参考訳（メタデータ） (2025-05-18T14:12:40Z) - A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models [22.457766373989365]
Low-Rank Adapters (LoRA) は、命令チューニングやドメイン適応など、様々な分野に広く採用されている。
LoRAの限られた表現能力に対処するため、複数のLoRAアダプタを組み込むためのMixture-of-Expert (MoE)が導入されている。
マルチスペースプロジェクションによる特徴学習手順の安定化と向上を図るため,MoE-LoRAの新たなトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2025-02-20T05:58:53Z) - Mitigating Unintended Memorization with LoRA in Federated Learning for LLMs [30.13601588296921]
フェデレートラーニング(FL)は、クライアント間の直接的なデータ露光を回避する共同トレーニングの一般的なパラダイムである。
敵対的かつ正直なクライアントは、単にターゲットのプロンプトを通じて、他の参加者のトレーニングデータを復元することができる。
低ランク適応(LoRA)はFL中の記憶を最大10倍に減少させる。
論文 参考訳（メタデータ） (2025-02-07T17:04:39Z) - SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。
既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。
クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
論文 参考訳（メタデータ） (2025-01-22T20:00:41Z) - Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。
現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。
そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
論文 参考訳（メタデータ） (2024-12-03T07:25:30Z) - Continual Forgetting for Pre-trained Vision Models [70.51165239179052]
現実のシナリオでは、選択的な情報は事前訓練されたモデルから継続的に取り除かれることが期待される。
効率的な削除のためのグループスパースロラ(GS-LoRA)を提案する。
我々は,顔認識,物体検出,画像分類に関する広範な実験を行い,GS-LoRAが他のクラスに最小限の影響で,特定のクラスを忘れることが実証された。
論文 参考訳（メタデータ） (2024-03-18T07:33:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。