論文の概要: SeLoRA: Self-Expanding Low-Rank Adaptation of Latent Diffusion Model for Medical Image Synthesis
- arxiv url: http://arxiv.org/abs/2408.07196v1
- Date: Tue, 13 Aug 2024 20:32:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-15 14:45:31.852152
- Title: SeLoRA: Self-Expanding Low-Rank Adaptation of Latent Diffusion Model for Medical Image Synthesis
- Title（参考訳）: SeLoRA: 医用画像合成のための潜時拡散モデルの自己拡張低ランク適応
- Authors: Yuchen Mao, Hongwei Li, Wei Pang, Giorgos Papanastasiou, Guang Yang, Chengjia Wang,
- Abstract要約: Low-Rank Adaptation (LoRA) with Latent diffusion model (LDMs) は、訓練済みの大規模言語モデルを効率的に適応するための有効なアプローチである。
本稿では,自己拡張型低ランク適応モジュールであるSeLoRAについて紹介する。
提案手法は,医療データの微調整を効率的に行うだけでなく,画像品質の向上を最小限のランク付けで実現する。
- 参考スコア（独自算出の注目度）: 8.15521171509903
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The persistent challenge of medical image synthesis posed by the scarcity of annotated data and the need to synthesize `missing modalities' for multi-modal analysis, underscored the imperative development of effective synthesis methods. Recently, the combination of Low-Rank Adaptation (LoRA) with latent diffusion models (LDMs) has emerged as a viable approach for efficiently adapting pre-trained large language models, in the medical field. However, the direct application of LoRA assumes uniform ranking across all linear layers, overlooking the significance of different weight matrices, and leading to sub-optimal outcomes. Prior works on LoRA prioritize the reduction of trainable parameters, and there exists an opportunity to further tailor this adaptation process to the intricate demands of medical image synthesis. In response, we present SeLoRA, a Self-Expanding Low-Rank Adaptation Module, that dynamically expands its ranking across layers during training, strategically placing additional ranks on crucial layers, to allow the model to elevate synthesis quality where it matters most. The proposed method not only enables LDMs to fine-tune on medical data efficiently but also empowers the model to achieve improved image quality with minimal ranking. The code of our SeLoRA method is publicly available on https://anonymous.4open.science/r/SeLoRA-980D .
- Abstract（参考訳）: 注釈付きデータの不足による医用画像合成の持続的課題と,マルチモーダル解析のための「ミス・モダリティ」の合成の必要性は,効果的な合成法の強制的発展を示唆している。
近年,医学分野において,Low-Rank Adaptation (LoRA) と潜在拡散モデル (LDMs) の組み合わせが,事前学習した大規模言語モデルを効率的に適応するための有効なアプローチとして浮上している。
しかし、LoRAの直接適用は、全ての線形層にわたって均一なランク付けを仮定し、異なる重み行列の重要性を見越して、準最適結果をもたらす。
LoRAに関する以前の研究は、トレーニング可能なパラメータの削減を優先しており、医療画像合成の複雑な要求に合わせて、この適応プロセスを更に調整する機会がある。
これに対し、SeLoRAは、トレーニング中にレイヤー間で動的にランクを拡大し、重要なレイヤに戦略的にランクを付けることで、モデルが最も重要となる合成品質を高めることができる自己拡張低ランク適応モジュールである。
提案手法は,医療データの微調整を効率的に行うだけでなく,画像品質の向上を最小限のランク付けで実現する。
SeLoRAメソッドのコードはhttps://anonymous.4open.science/r/SeLoRA-980Dで公開されている。
関連論文リスト
- Cross-conditioned Diffusion Model for Medical Image to Image Translation [22.020931436223204]
医用画像から画像への変換のためのクロスコンディショニング拡散モデル(CDM)を提案する。
まず、目的のモダリティの分布をモデル化するためのモダリティ固有表現モデル(MRM)を提案する。
そして、MDN(Modality-Decoupled Diffusion Network)を設計し、MRMから効率よく効果的に分布を学習する。
論文 参考訳（メタデータ） (2024-09-13T02:48:56Z) - 3D MRI Synthesis with Slice-Based Latent Diffusion Models: Improving Tumor Segmentation Tasks in Data-Scarce Regimes [2.8498944632323755]
本稿では,ボリュームデータ生成の複雑さに対処するスライスに基づく遅延拡散アーキテクチャを提案する。
この手法は,医療用画像と関連するマスクの同時分布モデルを拡張し,データスカース体制下での同時生成を可能にする。
構造は, 大きさ, 形状, 相対位置などの腫瘍特性によって調節できるため, 腫瘍の多様性は様々である。
論文 参考訳（メタデータ） (2024-06-08T09:53:45Z) - Memory-efficient High-resolution OCT Volume Synthesis with Cascaded Amortized Latent Diffusion Models [48.87160158792048]
本稿では,高分解能CTボリュームをメモリ効率よく合成できるCA-LDM(Cascaded amortized Latent diffusion model)を提案する。
公開高解像度OCTデータセットを用いた実験により、我々の合成データは、既存の手法の能力を超越した、現実的な高解像度かつグローバルな特徴を持つことが示された。
論文 参考訳（メタデータ） (2024-05-26T10:58:22Z) - PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。
8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文 参考訳（メタデータ） (2024-01-20T20:25:17Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z) - Latent Consistency Models: Synthesizing High-Resolution Images with
Few-Step Inference [60.32804641276217]
本稿では,LCM(Latent Consistency Models)を提案する。
高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。
また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
論文 参考訳（メタデータ） (2023-10-06T17:11:58Z) - ArSDM: Colonoscopy Images Synthesis with Adaptive Refinement Semantic
Diffusion Models [69.9178140563928]
大腸内視鏡検査は臨床診断や治療に不可欠である。
注釈付きデータの不足は、既存の手法の有効性と一般化を制限する。
本稿では, 下流作業に有用な大腸内視鏡画像を生成するために, 適応Refinement Semantic Diffusion Model (ArSDM)を提案する。
論文 参考訳（メタデータ） (2023-09-03T07:55:46Z) - CoLa-Diff: Conditional Latent Diffusion Model for Multi-Modal MRI
Synthesis [11.803971719704721]
ほとんどの拡散ベースのMRI合成モデルは単一のモードを使用している。
拡散型多モードMRI合成モデル、すなわち条件付き潜在拡散モデル(CoLa-Diff)を提案する。
実験により、CoLa-Diffは他の最先端MRI合成法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-03-24T15:46:10Z) - A Learnable Variational Model for Joint Multimodal MRI Reconstruction
and Synthesis [4.056490719080639]
マルチモーダルMRIの関節再構成と合成のための新しいディープラーニングモデルを提案する。
本モデルの出力は、ソースのモダリティの再構成画像と、ターゲットのモダリティで合成された高品質な画像を含む。
論文 参考訳（メタデータ） (2022-04-08T01:35:19Z) - Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。
当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。
マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文 参考訳（メタデータ） (2020-02-11T08:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。