論文の概要: Regularized Low-Rank Adaptation for Few-Shot Organ Segmentation

• arxiv url: http://arxiv.org/abs/2507.15793v1
• Date: Mon, 21 Jul 2025 16:51:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.493102
• Title: Regularized Low-Rank Adaptation for Few-Shot Organ Segmentation
• Title（参考訳）: Few-Shot Organ Segmentationのための正規化低ランク適応
• Authors: Ghassen Baklouti, Julio Silva-Rodríguez, Jose Dolz, Houda Bahig, Ismail Ben Ayed,
• Abstract要約: Low-Rank Adaptation (LoRA) は、低次元部分空間において適応が本質的に発生するという仮定に基づく顕著なアプローチである。 本稿では,適応時の内因性階位を動的に調整する医用画像セグメンテーションのための新しいアプローチを提案する。 提案手法は実写数発の微調整で評価され,まず標準のLoRAおよび他のPEFT法と比較する。
• 参考スコア（独自算出の注目度）: 17.875098424936542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) of pre-trained foundation models is increasingly attracting interest in medical imaging due to its effectiveness and computational efficiency. Among these methods, Low-Rank Adaptation (LoRA) is a notable approach based on the assumption that the adaptation inherently occurs in a low-dimensional subspace. While it has shown good performance, its implementation requires a fixed and unalterable rank, which might be challenging to select given the unique complexities and requirements of each medical imaging downstream task. Inspired by advancements in natural image processing, we introduce a novel approach for medical image segmentation that dynamically adjusts the intrinsic rank during adaptation. Viewing the low-rank representation of the trainable weight matrices as a singular value decomposition, we introduce an l_1 sparsity regularizer to the loss function, and tackle it with a proximal optimizer. The regularizer could be viewed as a penalty on the decomposition rank. Hence, its minimization enables to find task-adapted ranks automatically. Our method is evaluated in a realistic few-shot fine-tuning setting, where we compare it first to the standard LoRA and then to several other PEFT methods across two distinguishable tasks: base organs and novel organs. Our extensive experiments demonstrate the significant performance improvements driven by our method, highlighting its efficiency and robustness against suboptimal rank initialization. Our code is publicly available: https://github.com/ghassenbaklouti/ARENA
• Abstract（参考訳）: プレトレーニング基礎モデルのパラメータ効率細調整(PEFT)は、その有効性と計算効率により、医療画像への関心がますます高まっている。 これらの手法の中で、ローランド適応(LoRA)は、適応が本質的に低次元の部分空間で起こるという仮定に基づく顕著なアプローチである。 優れたパフォーマンスを示しているが、その実装には固定的かつ変更不可能なランクが必要である。 自然画像処理の進歩に触発されて,適応時の内在的ランクを動的に調整する医用画像セグメンテーションの新たなアプローチを導入する。 トレーニング可能な重み行列の低ランク表現を特異値分解として、損失関数にl_1空間正規化器を導入し、近似オプティマイザでそれに取り組む。 レギュレータは分解ランクのペナルティと見なすことができる。 したがって、最小化により、タスク適応されたランクを自動的に見つけることができる。 本手法は,まず標準の LoRA と比較し,次に基本臓器と新規臓器の2つのタスクにまたがる他のPEFT法と比較する。 提案手法を応用し,提案手法による性能向上を実証し,その性能向上と最適下階初期化に対するロバスト性を強調した。 私たちのコードは、https://github.com/ghassenbaklouti/ARENAで公開されています。

関連論文リスト

• Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
  SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。 提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
  論文  参考訳（メタデータ） (2025-07-02T15:56:40Z)
• Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
  Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。 現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。 本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
  論文  参考訳（メタデータ） (2025-06-30T23:54:23Z)
• Efficient Differentiable Approximation of Generalized Low-rank Regularization [64.73416824444328]
  低ランク正規化(LRR)は様々な機械学習タスクに広く応用されている。 本稿では,LRRの効率的な微分可能近似を提案する。
  論文  参考訳（メタデータ） (2025-05-21T11:49:17Z)
• AROMA: Autonomous Rank-one Matrix Adaptation [15.919752343000992]
  階層固有の更新を自動的に構築するフレームワークであるAROMAを導入し、段階的にゼロに減少するトレーニング可能なパラメータがほとんどないランクワンのコンポーネントを反復的に構築する。 AROMAは、自然言語理解や常識推論タスクにおいて優れたパフォーマンスを実現しつつ、LoRAやAdaLoRAと比較してパラメータを著しく削減する。
  論文  参考訳（メタデータ） (2025-04-06T09:14:43Z)
• EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition [2.5269004336032186]
  Efficient Weight-Decomposed Low-Rank Adaptation (EDoRA) は、事前学習した重量を大きさと方向の成分に分解する新しいPEFT法である。 EDoRAは、LoRAやDoRAのような最先端の手法と比較して、競争力や優れた性能を達成する。
  論文  参考訳（メタデータ） (2025-01-21T11:42:09Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• SARA: Singular-Value Based Adaptive Low-Rank Adaption [4.135688713311511]
  パラメータ効率のよい微細チューニング(PEFT)手法としてのLoRAは、推論オーバーヘッドを加算しないために広く用いられている。 本研究ではまず,各層の性能とランクの関係をSVDを用いて解析する。 これに基づいてSARA(Singular-Value Based Adaptive Low-Rank Adaption)を設計する。
  論文  参考訳（メタデータ） (2024-08-06T16:39:42Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• Zeroth-Order Optimization Meets Human Feedback: Provable Learning via Ranking Oracles [16.916111322004557]
  ブラックボックスの客観的関数は、ランクのオラクルを通してのみ測定できる。 ゼロ階最適化アルゴリズムZO-RankSGDを導入する。 また,ZO-RankSGDは,数ラウンドのフィードバックだけで生成した画像のディテールを大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-03-07T09:20:43Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。