論文の概要: One Shared LoRA Weight for MRI Reconstruction across Acceleration Factors
- arxiv url: http://arxiv.org/abs/2609.06338v1
- Date: Sun, 06 Sep 2026 02:23:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.228235
- Title: One Shared LoRA Weight for MRI Reconstruction across Acceleration Factors
- Title(参考訳): 加速度因子によるMRI再構成のための共有LoRAウェイト
- Abstract要約: 既存の手法では、各アクセラレーション係数の別々のモデルを訓練することが多く、クロスファクタの一般化が貧弱で、高いトレーニングとストレージコストがかかる。
SHFormerバックボーンを凍結するパラメータ効率のよいフレームワークであるShared LoRAを提案し、軽量なゲーティングネットワークとともに単一のLoRAアダプタをトレーニングする。
実験の結果、Shared LoRAは加速因子をまたいだ最高のPSNRとSSIMを達成し、トレーニング可能なパラメータは全体の5.3%に過ぎなかった。
- 参考スコア(独自算出の注目度): 13.667072166325397
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accelerated MRI reconstruction recovers images from undersampled k-space. However, different acceleration factors produce distinct artifact patterns. Existing methods often train separate models for each factor, leading to poor cross-factor generalization and high training and storage costs. We propose Shared LoRA, a parameter-efficient framework that freezes the pretrained SHFormer backbone and trains a single shared set of LoRA adapters together with a lightweight gating network. During training, undersampled inputs are generated by randomly sampling acceleration factors and their corresponding sampling masks, enabling the shared adapters to learn reconstruction knowledge across factors. Given the acceleration factor, GateNet generates layer-wise coefficients to dynamically modulate the residual strength of each adapter. Experiments show that Shared LoRA achieves the best or competitive PSNR and SSIM across acceleration factors, while its trainable parameters account for only about 5.3% of the total model parameters. Its performance at lower acceleration factors remains largely unaffected as the jointly trained factor set expands, and it generalizes stably to unseen neighboring factors.
- Abstract(参考訳): 加速度MRI再構成は、アンダーサンプリングされたk空間から画像を復元する。
しかし、異なる加速因子は異なるアーティファクトパターンを生成する。
既存の手法では、各因子ごとに別々のモデルをトレーニングすることが多く、クロスファクタの一般化が貧弱で、高いトレーニングとストレージコストが発生する。
SHFormerバックボーンを凍結するパラメータ効率のよいフレームワークであるShared LoRAを提案し、軽量なゲーティングネットワークとともに単一のLoRAアダプタセットをトレーニングする。
トレーニング中、アンダーサンプリングされた入力は、ランダムに加速因子とその対応するサンプリングマスクをサンプリングすることで生成され、共有アダプタは、因子間の再構成知識を学習することができる。
加速度係数が与えられた場合、GateNetは各アダプタの残留強度を動的に変調する層ワイド係数を生成する。
実験の結果、Shared LoRAは加速因子をまたいだ最高のPSNRとSSIMを達成し、トレーニング可能なパラメータは全体の5.3%に過ぎなかった。
低加速度因子におけるその性能は、共同訓練された因子集合が拡大するにつれて、ほとんど影響を受けず、安定して隣り合う因子に一般化する。
関連論文リスト
- Strategic Over-Parameterization for Generalizable Low-Rank Adaptation [14.867641913391779]
大規模言語モデルへの完全な微調整による下流タスクへの適応は、計算とメモリの要求のため、ますます現実的ではない。
LoRA-Overは単純な原則に基づくフレームワークで、トレーニング中に最適化の風景を豊かにし、推論時に豊かにする。
LLaMA 2-7B と LLaMA 3.1-8B を用いた言語理解 (GLUE, T5-Base), 対話 (MT-Bench), 算術的推論 (GSM8K), コード生成 (HumanEval) に基づく LoRA-Over の評価を行った。
論文 参考訳(メタデータ) (2026-05-15T12:26:17Z) - ReMix: Reinforcement routing for mixtures of LoRAs in LLM finetuning [85.39146836671897]
低ランクアダプタ(LoRAs)は、トレーニング可能な低ランク行列をトレーニング済みモデルに注入し、新しいタスクに適応するパラメータ効率の微調整技術である。
既存のMixture-of-LoRAsルータは学習したルーティングウェイトを各LoRAに割り当て、ルータのエンドツーエンドのトレーニングを可能にする。
Reinforcement Routing for Mixture-of-LoRAs (ReMix) と呼ばれる新しいルータを提案する。
論文 参考訳(メタデータ) (2026-03-10T18:51:27Z) - FedMomentum: Preserving LoRA Training Momentum in Federated Fine-Tuning [26.248129364672398]
低ランク適応(LoRA)を備えた大規模言語モデルのフェデレート微調整は、タスク固有の適応のための通信効率とプライバシ保護ソリューションを提供する。
LoRAモジュールのネイティブアグリゲーションは、ダウンサンプリングおよびアップサンプリング行列を独立に平均化する際の数学的誤りによるノイズをもたらす。
我々は,単一値分解による構造的および運動量保存のLoRAアグリゲーションを可能にする新しいフレームワークであるFedMomentumを提案する。
論文 参考訳(メタデータ) (2026-03-09T06:43:17Z) - Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution [76.66229730098759]
実世界の画像超解像(Real-ISR)では、既存のアプローチは主に微調整された事前学習拡散モデルに依存している。
単一ステップ画像超解像のためのMixture-of-Ranks (MoR)アーキテクチャを提案する。
LoRAの各ランクを独立した専門家として扱う、きめ細かい専門家分割戦略を導入する。
論文 参考訳(メタデータ) (2025-11-20T04:11:44Z) - MSLoRA: Multi-Scale Low-Rank Adaptation via Attention Reweighting [6.335488846185043]
MSLoRAはバックボーンに依存しないパラメータ効率のよいアダプタで、バックボーンを再調整するのではなく、フィーチャーレスポンスを再重み付けする。
MSLoRAは、畳み込みニューラルネットワーク(CNN)と視覚変換器(ViT)の両方の適応を統一する
論文 参考訳(メタデータ) (2025-11-16T00:35:37Z) - Exploring Sparse Adapters for Scalable Merging of Parameter Efficient Experts [72.22148263683037]
ニューラルネットワークの重みのサブセットのみをトレーニングするスパースアダプタの特性をモジュラーアーキテクチャの潜在的な構成要素として検討する。
まず,本論文の既存の手法よりも概念的にシンプルである,効果的なスパースアダプタの訓練方法を提案する。
次に,これらのスパースアダプタのマージ特性について,最大20の自然言語処理タスクに対して,アダプタをマージすることで検討する。
論文 参考訳(メタデータ) (2025-07-09T03:25:45Z) - SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。
本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。
SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
論文 参考訳(メタデータ) (2025-05-18T14:12:40Z) - HSplitLoRA: A Heterogeneous Split Parameter-Efficient Fine-Tuning Framework for Large Language Models [30.345920952847752]
大規模言語モデル(LLM)は、自然言語処理領域などに革命をもたらし、目覚ましいブレークスルーを達成した。
膨大なパラメータサイズのため、様々な下流タスクのためのプライベートデータでこれらのモデルを微調整することが主流になっている。
本研究では,分割学習(SL)と低ランク適応(LoRA)に基づくフレームワークであるHSplitLoRAを提案する。
論文 参考訳(メタデータ) (2025-05-05T17:09:19Z) - SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。
既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。
クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
論文 参考訳(メタデータ) (2025-01-22T20:00:41Z) - Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。
近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。
DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
論文 参考訳(メタデータ) (2024-11-01T14:28:39Z) - MoS: Unleashing Parameter Efficiency of Low-Rank Adaptation with Mixture of Shards [35.163843138935455]
大規模言語モデルの迅速なスケーリングには、爆発的なGPUメモリオーバーヘッドを低減するために、より軽量な微調整方法が必要である。
本研究は、純粋な共有による有害な影響を逆転させる上で、差別化が不可欠であることを示す。
本研究では,層間共有と層間共有を併用し,ほぼ費用がかからない4つの差別戦略を統合することで,Shardsの混合(MoS)を提案する。
論文 参考訳(メタデータ) (2024-10-01T07:47:03Z) - PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。
8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文 参考訳(メタデータ) (2024-01-20T20:25:17Z) - Run LoRA Run: Faster and Lighter LoRA Implementations [50.347242693025336]
LoRAは、線形層に低ランクアダプタを導入することにより、ニューラルネットワーク内のトレーニング可能なパラメータの数を減らすテクニックである。
本稿では,LoRAの効率的な実装のためのRunLoRAフレームワークを提案する。
実験は、言語モデリングネットワーク上で最大28%のスピードアップを示す。
論文 参考訳(メタデータ) (2023-12-06T10:54:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。