論文の概要: MemControl: Mitigating Memorization in Medical Diffusion Models via Automated Parameter Selection
- arxiv url: http://arxiv.org/abs/2405.19458v1
- Date: Wed, 29 May 2024 19:12:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 19:16:17.582575
- Title: MemControl: Mitigating Memorization in Medical Diffusion Models via Automated Parameter Selection
- Title（参考訳）: MemControl:自動パラメータ選択による医療拡散モデルにおける記憶の緩和
- Authors: Raman Dutt, Pedro Sanchez, Ondrej Bohdal, Sotirios A. Tsaftaris, Timothy Hospedales,
- Abstract要約: 拡散モデルは、トレーニング分布を忠実に反映した画像を生成する際、顕著な能力を示す。
これらのモデルはデータの記憶をトレーニングする傾向があり、プライバシー、倫理、法的懸念に繋がる。
本稿では,メモリ化と生成品質指標を報奨として活用することにより,自動パラメータ選択を誘導する二段階最適化フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 15.477246927584499
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models show a remarkable ability in generating images that closely mirror the training distribution. However, these models are prone to training data memorization, leading to significant privacy, ethical, and legal concerns, particularly in sensitive fields such as medical imaging. We hypothesize that memorization is driven by the overparameterization of deep models, suggesting that regularizing model capacity during fine-tuning could be an effective mitigation strategy. Parameter-efficient fine-tuning (PEFT) methods offer a promising approach to capacity control by selectively updating specific parameters. However, finding the optimal subset of learnable parameters that balances generation quality and memorization remains elusive. To address this challenge, we propose a bi-level optimization framework that guides automated parameter selection by utilizing memorization and generation quality metrics as rewards. Our framework successfully identifies the optimal parameter set to be updated to satisfy the generation-memorization tradeoff. We perform our experiments for the specific task of medical image generation and outperform existing state-of-the-art training-time mitigation strategies by fine-tuning as few as 0.019% of model parameters. Furthermore, we show that the strategies learned through our framework are transferable across different datasets and domains. Our proposed framework is scalable to large datasets and agnostic to the choice of reward functions. Finally, we show that our framework can be combined with existing approaches for further memorization mitigation.
- Abstract（参考訳）: 拡散モデルは、トレーニング分布を忠実に反映した画像を生成する際、顕著な能力を示す。
しかし、これらのモデルはデータの記憶をトレーニングする傾向があり、特に医用画像のような敏感な分野において、プライバシー、倫理、法的な懸念を生じさせる。
我々は、暗記は深層モデルの過度パラメータ化によって引き起こされると仮定し、微調整時のモデルキャパシティの正規化が効果的な緩和戦略である可能性を示唆した。
パラメータ効率のよい微調整(PEFT)手法は、特定のパラメータを選択的に更新することでキャパシティ制御に有望なアプローチを提供する。
しかし、生成品質と記憶のバランスをとる学習可能なパラメータの最適なサブセットを見つけることは、いまだ解明されていない。
この課題に対処するために、記憶と生成品質の指標を報酬として利用することにより、自動パラメータ選択をガイドする二段階最適化フレームワークを提案する。
我々のフレームワークは、生成記憶トレードオフを満たすために更新すべき最適パラメータセットをうまく識別する。
我々は,医用画像生成の特定のタスクに対する実験を行い,モデルパラメータの0.019%を微調整することで,既存の最先端のトレーニング時間緩和戦略を上回りました。
さらに、我々のフレームワークを通じて得られた戦略は、異なるデータセットやドメイン間で転送可能であることを示す。
提案するフレームワークは,大規模なデータセットに対してスケーラブルであり,報酬関数の選択に非依存である。
最後に、我々のフレームワークと既存のアプローチを組み合わせることで、さらなる記憶の緩和を実現できることを示す。
関連論文リスト
- Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。
私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。
最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
論文 参考訳（メタデータ） (2024-07-08T12:32:51Z) - End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳（メタデータ） (2024-02-12T16:33:35Z) - Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。
本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。
提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
論文 参考訳（メタデータ） (2023-11-28T11:23:34Z) - Efficient and Robust Bayesian Selection of Hyperparameters in Dimension
Reduction for Visualization [0.0]
本稿では,次元減少(DR)アルゴリズムにおけるハイパーパラメータ選択のための,効率的かつ堅牢な自動チューニングフレームワークを提案する。
提案手法により,多目的トレードオフを用いた効率的なハイパーパラメータ選択が可能となり,データ駆動分析が可能となった。
我々は,複数の品質指標を用いて,様々な合成および実世界のデータセットを用いて評価を行った。
論文 参考訳（メタデータ） (2023-06-01T05:36:22Z) - Towards foundation models and few-shot parameter-efficient fine-tuning
for volumetric organ segmentation [21.588709922418765]
FSEFT(Few-shot efficient fine-tuning)は、医用画像セグメンテーションの新規かつ現実的な設定である。
医用画像のセグメンテーションに適した,パラメータ効率の高いファインチューニング戦略を提案する。
臓器セグメント化のための公開CTデータセットの集合に関する包括的実験は、視覚アダプターやトランスダクティブ推論の可能性を示している。
論文 参考訳（メタデータ） (2023-03-29T22:50:05Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Learning the Effect of Registration Hyperparameters with HyperMorph [7.313453912494172]
我々は,学習に基づく変形可能な画像登録において,効率的なハイパーパラメータチューニングを容易にするHyperMorphを紹介した。
本研究では,高速かつ高分解能なハイパーパラメータ探索を実現することで,従来の手法の非効率性を低減できることを示す。
論文 参考訳（メタデータ） (2022-03-30T21:30:06Z) - Consolidated learning -- a domain-specific model-free optimization
strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。
このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。
我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2022-01-27T21:38:53Z) - Improving Hyperparameter Optimization by Planning Ahead [3.8673630752805432]
本稿では,モデルに基づく強化学習の文脈内で定義された新しい伝達学習手法を提案する。
本稿では,シンプルなルックアヘッド戦略をポリシーとして用いたモデル予測制御法を提案する。
最新のHPOアルゴリズムと比較した3つのメタデータセット実験により,提案手法が全ベースラインを上回り得ることを示す。
論文 参考訳（メタデータ） (2021-10-15T11:46:14Z) - On the Sparsity of Neural Machine Translation Models [65.49762428553345]
性能向上のために冗長パラメータを再利用できるかどうかを検討する。
実験と分析は異なるデータセットとNTTアーキテクチャで体系的に行われる。
論文 参考訳（メタデータ） (2020-10-06T11:47:20Z) - Learning Deformable Image Registration from Optimization: Perspective,
Modules, Bilevel Training and Beyond [62.730497582218284]
マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。
我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
論文 参考訳（メタデータ） (2020-04-30T03:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。