論文の概要: MemControl: Mitigating Memorization in Medical Diffusion Models via Automated Parameter Selection
- arxiv url: http://arxiv.org/abs/2405.19458v1
- Date: Wed, 29 May 2024 19:12:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 19:16:17.582575
- Title: MemControl: Mitigating Memorization in Medical Diffusion Models via Automated Parameter Selection
- Title（参考訳）: MemControl:自動パラメータ選択による医療拡散モデルにおける記憶の緩和
- Authors: Raman Dutt, Pedro Sanchez, Ondrej Bohdal, Sotirios A. Tsaftaris, Timothy Hospedales,
- Abstract要約: 拡散モデルは、トレーニング分布を忠実に反映した画像を生成する際、顕著な能力を示す。
これらのモデルはデータの記憶をトレーニングする傾向があり、プライバシー、倫理、法的懸念に繋がる。
本稿では,メモリ化と生成品質指標を報奨として活用することにより,自動パラメータ選択を誘導する二段階最適化フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 15.477246927584499
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models show a remarkable ability in generating images that closely mirror the training distribution. However, these models are prone to training data memorization, leading to significant privacy, ethical, and legal concerns, particularly in sensitive fields such as medical imaging. We hypothesize that memorization is driven by the overparameterization of deep models, suggesting that regularizing model capacity during fine-tuning could be an effective mitigation strategy. Parameter-efficient fine-tuning (PEFT) methods offer a promising approach to capacity control by selectively updating specific parameters. However, finding the optimal subset of learnable parameters that balances generation quality and memorization remains elusive. To address this challenge, we propose a bi-level optimization framework that guides automated parameter selection by utilizing memorization and generation quality metrics as rewards. Our framework successfully identifies the optimal parameter set to be updated to satisfy the generation-memorization tradeoff. We perform our experiments for the specific task of medical image generation and outperform existing state-of-the-art training-time mitigation strategies by fine-tuning as few as 0.019% of model parameters. Furthermore, we show that the strategies learned through our framework are transferable across different datasets and domains. Our proposed framework is scalable to large datasets and agnostic to the choice of reward functions. Finally, we show that our framework can be combined with existing approaches for further memorization mitigation.
- Abstract（参考訳）: 拡散モデルは、トレーニング分布を忠実に反映した画像を生成する際、顕著な能力を示す。
しかし、これらのモデルはデータの記憶をトレーニングする傾向があり、特に医用画像のような敏感な分野において、プライバシー、倫理、法的な懸念を生じさせる。
我々は、暗記は深層モデルの過度パラメータ化によって引き起こされると仮定し、微調整時のモデルキャパシティの正規化が効果的な緩和戦略である可能性を示唆した。
パラメータ効率のよい微調整(PEFT)手法は、特定のパラメータを選択的に更新することでキャパシティ制御に有望なアプローチを提供する。
しかし、生成品質と記憶のバランスをとる学習可能なパラメータの最適なサブセットを見つけることは、いまだ解明されていない。
この課題に対処するために、記憶と生成品質の指標を報酬として利用することにより、自動パラメータ選択をガイドする二段階最適化フレームワークを提案する。
我々のフレームワークは、生成記憶トレードオフを満たすために更新すべき最適パラメータセットをうまく識別する。
我々は,医用画像生成の特定のタスクに対する実験を行い,モデルパラメータの0.019%を微調整することで,既存の最先端のトレーニング時間緩和戦略を上回りました。
さらに、我々のフレームワークを通じて得られた戦略は、異なるデータセットやドメイン間で転送可能であることを示す。
提案するフレームワークは,大規模なデータセットに対してスケーラブルであり,報酬関数の選択に非依存である。
最後に、我々のフレームワークと既存のアプローチを組み合わせることで、さらなる記憶の緩和を実現できることを示す。
関連論文リスト
- Capacity Control is an Effective Memorization Mitigation Mechanism in Text-Conditional Diffusion Models [15.477246927584499]
採用。
プレトレインファインチューンパラダイムにおけるPEFT(Efficient Fine-Tuning)は,メモリ化を著しく低減する。
その結果,PEFTは記憶度を低下させるだけでなく,下流の音質を向上させることが示唆された。
論文 参考訳（メタデータ） (2024-10-29T15:47:31Z) - Deep Learning to Predict Late-Onset Breast Cancer Metastasis: the Single Hyperparameter Grid Search (SHGS) Strategy for Meta Tuning Concerning Deep Feed-forward Neural Network [7.332652485849632]
n年前から乳がんの転移を予測できるDFNNモデルの構築に取り組んできた。
この課題は、時間とリソースの制約を考慮して、グリッドサーチによって最適なハイパーパラメータ値を効率的に特定することにある。
論文 参考訳（メタデータ） (2024-08-28T03:00:43Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Should We Learn Most Likely Functions or Parameters? [51.133793272222874]
モデルとデータによって示唆される最も可能性の高い関数を直接推定する利点と欠点について検討する。
関数空間MAP推定は, より平坦な最小化, 一般化, オーバーフィッティングの改善につながる可能性がある。
論文 参考訳（メタデータ） (2023-11-27T16:39:55Z) - GSMorph: Gradient Surgery for cine-MRI Cardiac Deformable Registration [62.41725951450803]
学習に基づく変形可能な登録は、フィールドの登録精度と滑らかさをトレードオフする重み付けされた目的関数に依存する。
我々は,GSMorphと呼ばれる勾配手術機構に基づく登録モデルを構築し,複数の損失に対してパラメータフリーな高バランスを実現する。
提案手法はモデルに依存しないため,パラメータの追加や推論の遅延を伴わずに,任意のディープ登録ネットワークにマージすることができる。
論文 参考訳（メタデータ） (2023-06-26T13:32:09Z) - Reverse Engineering Breast MRIs: Predicting Acquisition Parameters
Directly from Images [1.256413718364189]
本稿では,MR画像生成に使用する複雑なIAPを,画像のみを用いて高精度に予測するニューラルネットワークモデルを提案する。
コントラストエージェントタイプのような難しいパラメータでさえ、精度良く予測できる。
論文 参考訳（メタデータ） (2023-03-08T22:02:15Z) - Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。
我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。
得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文 参考訳（メタデータ） (2022-11-16T21:55:05Z) - Learning the Effect of Registration Hyperparameters with HyperMorph [7.313453912494172]
我々は,学習に基づく変形可能な画像登録において,効率的なハイパーパラメータチューニングを容易にするHyperMorphを紹介した。
本研究では,高速かつ高分解能なハイパーパラメータ探索を実現することで,従来の手法の非効率性を低減できることを示す。
論文 参考訳（メタデータ） (2022-03-30T21:30:06Z) - HyperMorph: Amortized Hyperparameter Learning for Image Registration [8.13669868327082]
HyperMorphは、変形可能な画像登録のための学習ベースの戦略です。
既存の検索戦略よりもはるかに高速に複数のハイパーパラメータを最適化できることを示す。
論文 参考訳（メタデータ） (2021-01-04T15:39:16Z) - On the Sparsity of Neural Machine Translation Models [65.49762428553345]
性能向上のために冗長パラメータを再利用できるかどうかを検討する。
実験と分析は異なるデータセットとNTTアーキテクチャで体系的に行われる。
論文 参考訳（メタデータ） (2020-10-06T11:47:20Z) - Rethinking the Hyperparameters for Fine-tuning [78.15505286781293]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクのデファクトスタンダードとなっている。
ファインチューニングの現在のプラクティスは、通常、ハイパーパラメータのアドホックな選択を選択することである。
本稿では、微調整のためのハイパーパラメータの設定に関するいくつかの一般的なプラクティスを再検討する。
論文 参考訳（メタデータ） (2020-02-19T18:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。