論文の概要: LoRA-PT: Low-Rank Adapting UNETR for Hippocampus Segmentation Using Principal Tensor Singular Values and Vectors

• arxiv url: http://arxiv.org/abs/2407.11292v2
• Date: Fri, 19 Jul 2024 03:02:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-22 12:00:08.696567
• Title: LoRA-PT: Low-Rank Adapting UNETR for Hippocampus Segmentation Using Principal Tensor Singular Values and Vectors
• Title（参考訳）: LoRA-PT:主テンソル特異値とベクトルを用いた海馬セグメンテーションのための低ランク適応UNETR
• Authors: Guanghua He, Wangang Cheng, Hancan Zhu, Gaohang Yu,
• Abstract要約: 海馬は様々な精神疾患に関連する重要な脳構造である。 深層学習に基づく手法は海馬のセグメンテーションに大きな進歩をもたらした。 そこで本研究では,LoRA-PTと呼ばれるパラメータ効率の高いファインチューニング手法を提案する。
• 参考スコア（独自算出の注目度）: 1.4249472316161877
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The hippocampus is a crucial brain structure associated with various psychiatric disorders, and its automatic and precise segmentation is essential for studying these diseases. In recent years, deep learning-based methods have made significant progress in hippocampus segmentation. However, training deep neural network models requires substantial computational resources and time, as well as a large amount of labeled training data, which is often difficult to obtain in medical image segmentation. To address this issue, we propose a new parameter-efficient fine-tuning method called LoRA-PT. This method transfers the pre-trained UNETR model on the BraTS2021 dataset to the hippocampus segmentation task. Specifically, the LoRA-PT method categorizes the parameter matrix of the transformer structure into three sizes, forming three 3D tensors. Through tensor singular value decomposition, these tensors are decomposed to generate low-rank tensors with the principal singular values and singular vectors, while the remaining singular values and vectors form the residual tensor. During the fine-tuning, we only update the low-rank tensors, i.e. the principal tensor singular values and vectors, while keeping the residual tensor unchanged. We validated the proposed method on three public hippocampus datasets. Experimental results show that LoRA-PT outperforms existing parameter-efficient fine-tuning methods in segmentation accuracy while significantly reducing the number of parameter updates. Our code is available at https://github.com/WangangCheng/LoRA-PT/tree/LoRA-PT.
• Abstract（参考訳）: 海馬は様々な精神疾患に関連する重要な脳構造であり、その自動的かつ正確なセグメンテーションはこれらの疾患の研究に不可欠である。 近年,深層学習に基づく手法は海馬セグメンテーションにおいて大きな進歩を遂げている。 しかし、深層ニューラルネットワークモデルのトレーニングには、大量のラベル付きトレーニングデータだけでなく、かなりの計算資源と時間が必要です。 そこで本研究では,LoRA-PTと呼ばれるパラメータ効率の高いファインチューニング手法を提案する。 この方法は、BraTS2021データセット上の事前訓練されたUNETRモデルを、海馬セグメンテーションタスクに転送する。 特に、LoRA-PT法は変圧器構造のパラメータ行列を3つのサイズに分類し、3つの3次元テンソルを形成する。 テンソル特異値分解により、これらのテンソルは分解され、主特異値と特異ベクトルを持つ低ランクテンソルを生成し、残りの特異値とベクトルは残留テンソルを形成する。 微調整の間、我々は低ランクテンソル、すなわち主テンソル特異値とベクトルだけを更新するが、残余テンソルは変化しない。 提案手法を3つの公開海馬データセットで検証した。 実験結果から,LoRA-PTは,パラメータ更新回数を大幅に削減しつつ,既存のパラメータ効率の高い微調整手法よりも精度が高いことがわかった。 私たちのコードはhttps://github.com/WangangCheng/LoRA-PT/tree/LoRA-PTで利用可能です。

関連論文リスト

• Self-Supervised Learning via Flow-Guided Neural Operator on Time-Series Data [57.85958428020496]
  Flow-Guided Neural Operator (FGNO)は、演算子学習とフローマッチングを組み合わせた新しいフレームワークである。 FGNOは、短時間フーリエ変換を用いて関数空間のマッピングを学習し、異なる時間分解能を統一する。 推論中にノイズのある入力を使用する以前の生成SSL法とは異なり、ノイズのある表現を学習しながら、クリーンな入力を用いて表現抽出を行う。
  論文  参考訳（メタデータ） (2026-02-12T18:54:57Z)
• Structure-Preserving Margin Distribution Learning for High-Order Tensor Data with Low-Rank Decomposition [26.053531060301058]
  低ランク分解(SPMD-LRT)を用いた高次データのための構造保存マルジン分布学習を提案する。 SPMD-LRTは、一階および二階テンソル統計を取り入れた多次元空間構造を保存する。 従来のSVM、ベクトルベースのLMDM、およびそれ以前のテンソルベースのSVM拡張よりも優れた分類精度を実現する。
  論文  参考訳（メタデータ） (2025-09-18T03:26:09Z)
• LoRA-based methods on Unet for transfer learning in Subarachnoid Hematoma Segmentation [1.0509176043183581]
  動脈瘤性くも膜下出血(Aneurysmal subarachnoid hemorrhage、SAH)は、致死率30%を超える致命的な神経疾患である。 関連する血腫型からの移行学習は、潜在的に価値はあるが未発見のアプローチである。 LoRA法は、大動脈瘤SAHセグメンテーションにおける標準Unet微調整よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-08-03T14:12:42Z)
• TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training [91.8932638236073]
  textbfTensorGRaDは,重み付けに伴うメモリ問題に直接対処する新しい手法である。 SparseGRaD は総メモリ使用量を 50% 以上削減し,同時に精度も向上することを示した。
  論文  参考訳（メタデータ） (2025-01-04T20:51:51Z)
• tCURLoRA: Tensor CUR Decomposition Based Low-Rank Parameter Adaptation and Its Application in Medical Image Segmentation [1.3281936946796913]
  伝達学習は、事前訓練されたモデルからの知識を活用することで、目標タスクの性能を大幅に向上させた。 ディープニューラルネットワークのスケールアップに伴って、フル微調整によって、計算とストレージの大幅な課題がもたらされる。 テンソルCUR分解に基づく新しい微調整法であるtCURLoRAを提案する。
  論文  参考訳（メタデータ） (2025-01-04T08:25:32Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Inverted Activations: Reducing Memory Footprint in Neural Network Training [5.070981175240306]
  ニューラルネットワークトレーニングにおける重要な課題は、アクティベーションテンソルに関連するメモリフットプリントである。 本稿では, 点方向非線形層におけるアクティベーションテンソルの取扱いの修正を提案する。 本手法は,トレーニング精度や計算性能に影響を与えることなく,メモリ使用量を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2024-07-22T11:11:17Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Spatiotemporal Regularized Tucker Decomposition Approach for Traffic Data Imputation [0.0]
  インテリジェントトランスポートシステムでは、部分的に観測されたデータから欠落した値を推定するトラフィックデータ計算が避けられない課題である。 これまでの研究は、交通データの多次元性と相関性を十分に考慮していなかったが、特に高レベルの欠落シナリオにおいて、データの回復には不可欠である。
  論文  参考訳（メタデータ） (2023-05-11T04:42:35Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Fast Low-Rank Tensor Decomposition by Ridge Leverage Score Sampling [5.740578698172382]
  リッジレバレッジスコア (ridge leverage scores) と呼ばれるランダム化数値線形代数のタッカー分解とツールの利用について検討する。 近似リッジレバレッジスコアを用いて、任意のリッジ回帰問題に対してスケッチされたインスタンスを構築する方法を示す。 本研究では, 合成データと実世界のデータの両方に対して, 大規模かつ低ランクのタッカー分解に対する近似リッジ回帰アルゴリズムの有効性を示す。
  論文  参考訳（メタデータ） (2021-07-22T13:32:47Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• Low-Rank and Sparse Enhanced Tucker Decomposition for Tensor Completion [3.498620439731324]
  テンソル完備化のために,低ランクかつスパースに拡張されたタッカー分解モデルを導入する。 我々のモデルはスパースコアテンソルを促進するためにスパース正規化項を持ち、テンソルデータ圧縮に有用である。 テンソルに出現する潜在的な周期性と固有相関特性を利用するので,本モデルでは様々な種類の実世界のデータセットを扱うことが可能である。
  論文  参考訳（メタデータ） (2020-10-01T12:45:39Z)
• Sparse and Low-Rank High-Order Tensor Regression via Parallel Proximal Method [6.381138694845438]
  高次構造を持つ大規模データに対するスパース・ローランク回帰モデルを提案する。 我々のモデルはテンソル係数の空間性と低ランク性を強制する。 我々のモデルの予測は、ビデオデータセットに意味のある解釈を示す。
  論文  参考訳（メタデータ） (2019-11-29T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。