Fugu-MT 論文翻訳(概要): Memorizing SAM: 3D Medical Segment Anything Model with Memorizing Transformer

論文の概要: Memorizing SAM: 3D Medical Segment Anything Model with Memorizing Transformer

arxiv url: http://arxiv.org/abs/2412.13908v1
Date: Wed, 18 Dec 2024 14:51:25 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-19 16:47:53.560963
Title: Memorizing SAM: 3D Medical Segment Anything Model with Memorizing Transformer
Title（参考訳）: 記憶型SAM:記憶型トランスを用いた3次元医療セグメントモデル
Authors: Xinyuan Shao, Yiqing Shen, Mathias Unberath,
Abstract要約: 本稿では,メモリトランスフォーマーをプラグインとして組み込んだ新しい3DSAMアーキテクチャであるMemorizing SAMを提案する。トレーニングや推論中に内部表現を保存した従来の記憶変換器とは異なり、Memorizing SAMは既存の高精度な内部表現をメモリソースとして利用しています。我々はTotalSegmentatorデータセットから,33カテゴリのSAMの記憶性能を評価し,Memorizing SAMは,平均Dice増加率11.36%,推論時間4.38ミリ秒のコストで,最先端の3D SAMの変種であるFastSAM3Dより優れていることを示した。
参考スコア（独自算出の注目度）: 8.973249762345793
License:
Abstract: Segment Anything Models (SAMs) have gained increasing attention in medical image analysis due to their zero-shot generalization capability in segmenting objects of unseen classes and domains when provided with appropriate user prompts. Addressing this performance gap is important to fully leverage the pre-trained weights of SAMs, particularly in the domain of volumetric medical image segmentation, where accuracy is important but well-annotated 3D medical data for fine-tuning is limited. In this work, we investigate whether introducing the memory mechanism as a plug-in, specifically the ability to memorize and recall internal representations of past inputs, can improve the performance of SAM with limited computation cost. To this end, we propose Memorizing SAM, a novel 3D SAM architecture incorporating a memory Transformer as a plug-in. Unlike conventional memorizing Transformers that save the internal representation during training or inference, our Memorizing SAM utilizes existing highly accurate internal representation as the memory source to ensure the quality of memory. We evaluate the performance of Memorizing SAM in 33 categories from the TotalSegmentator dataset, which indicates that Memorizing SAM can outperform state-of-the-art 3D SAM variant i.e., FastSAM3D with an average Dice increase of 11.36% at the cost of only 4.38 millisecond increase in inference time. The source code is publicly available at https://github.com/swedfr/memorizingSAM
Abstract（参考訳）: Segment Anything Models (SAMs) は、未確認のクラスやドメインのセグメンテーションオブジェクトに適切なユーザープロンプトが提供される際に、ゼロショットの一般化能力により、画像解析において注目を集めている。この性能ギャップに対処することは、SAMの事前訓練された重量を十分に活用することが重要であり、特に、精度が重要であるが、微調整のための十分に注釈付けされた3D医療データが限られているボリューム医療画像セグメンテーションの領域においてである。本研究では,プラグインとしてメモリ機構を導入すること,特に過去の入力の内部表現を記憶し,記憶する能力が,SAMの性能を向上させることができるかどうかを検討する。そこで本研究では,メモリトランスフォーマーをプラグインとして組み込んだ新しい3DSAMアーキテクチャであるMemorizing SAMを提案する。トレーニングや推論中に内部表現を保存した従来の記憶変換器とは異なり、Memorizing SAMはメモリの質を保証するために既存の高精度な内部表現をメモリソースとして利用しています。我々はTotalSegmentatorデータセットから,33カテゴリのSAMの記憶性能を評価し,Memorizing SAMは,平均Dice増加率11.36%,推論時間4.38ミリ秒のコストで,最先端の3D SAMの変種であるFastSAM3Dより優れていることを示した。ソースコードはhttps://github.com/swedfr/memorizingSAMで公開されている。

関連論文リスト

EdgeTAM: On-Device Track Anything Model [65.10032957471824]
Segment Anything Model (SAM) 2はさらに、イメージからビデオへの入力をメモリバンク機構を通じて拡張する。私たちはSAM 2をより効率的にし、同等のパフォーマンスを維持しながらモバイルデバイス上でも動作できるようにすることを目標としています。計算コストを削減するために,新しい2次元空間知覚器を利用するEdgeTAMを提案する。
論文参考訳（メタデータ） (2025-01-13T12:11:07Z)
From SAM to SAM 2: Exploring Improvements in Meta's Segment Anything Model [0.5639904484784127]
Segment Anything Model (SAM)は、2023年4月にMetaによってコンピュータビジョンコミュニティに導入された。 SAMはゼロショットのパフォーマンスに優れ、追加のトレーニングなしで見えないオブジェクトをセグメンテーションする。 SAM 2は、この機能をビデオに拡張し、前および後続のフレームからのメモリを活用して、ビデオ全体にわたって正確なセグメンテーションを生成する。
論文参考訳（メタデータ） (2024-08-12T17:17:35Z)
MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
論文参考訳（メタデータ） (2024-04-24T07:38:14Z)
FastSAM3D: An Efficient Segment Anything Model for 3D Volumetric Medical Images [7.2993352400518035]
NVIDIA A100 GPU上の128*128*128の3Dボリューム画像に対して,SAM推論を8ミリ秒に高速化するFastSAM3Dを提案する。 FastSAM3Dは2D SAMと8.75倍の527.38倍で、同じボリュームの3D SAMは性能が著しく低下しない。
論文参考訳（メタデータ） (2024-03-14T19:29:44Z)
WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。トレーニングオーバーヘッドを最小限にしながら、トレーニング済みの知識を完全に活用するために、SAMは凍結し、最小限のパラメータしか導入しません。本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
論文参考訳（メタデータ） (2024-03-14T10:30:43Z)
MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文参考訳（メタデータ） (2023-09-16T02:41:53Z)
How to Efficiently Adapt Large Segmentation Model(SAM) to Medical Images [15.181219203629643]
Segment Anything (SAM)は、自然画像のゼロショットセグメンテーションにおいて印象的な機能を示す。しかし、医療画像に適用すると、SAMは顕著なパフォーマンス低下に悩まされる。本研究では,SAMエンコーダを凍結し,軽量なタスク固有予測ヘッドを微調整することを提案する。
論文参考訳（メタデータ） (2023-06-23T18:34:30Z)
3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation [52.699139151447945]
医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
論文参考訳（メタデータ） (2023-06-23T12:09:52Z)
Segment Anything in High Quality [116.39405160133315]
そこで本研究では,SAM のプロンプト可能な設計,効率,ゼロショットの一般化性を維持しつつ,任意のオブジェクトを正確にセグメント化できる HQ-SAM を提案する。注意深い設計はSAMの事前訓練されたモデルの重みを再利用し、保存し、最小限の追加パラメータと計算しか導入しない。ダウンストリームタスクにまたがる10種類のセグメンテーションデータセットでHQ-SAMの有効性を示し,そのうち8つをゼロショット転送プロトコルで評価した。
論文参考訳（メタデータ） (2023-06-02T14:23:59Z)
Personalize Segment Anything Model with One Shot [52.54453744941516]
我々は,Segment Anything Model (SAM) のためのトレーニング不要なパーソナライズ手法を提案する。 PerSAMは、参照マスクを持つ1つのイメージしか持たないため、最初にターゲットのコンセプトを以前のロケーションでローカライズする。 PerSAMは、ターゲット誘導された注意、ターゲットセマンティックなプロンプト、そしてカスケードされたポストリファインメントという3つのテクニックを通じて、他の画像やビデオにセグメントする。
論文参考訳（メタデータ） (2023-05-04T17:59:36Z)
Customized Segment Anything Model for Medical Image Segmentation [10.933449793055313]
我々は,大規模画像分割モデルであるSAM(Segment Anything Model)に基づいて,医用画像分割のための大規模モデルをカスタマイズする新たな研究パラダイムを探求する。 SAMedは、SAMイメージエンコーダにローランクベース(LoRA)ファインタニング戦略を適用し、ラベル付き医用画像セグメンテーションデータセットにプロンプトエンコーダとマスクデコーダを併用する。我々の訓練されたSAMedモデルは,最先端の手法に匹敵する医用画像のセマンティックセグメンテーションを実現する。
論文参考訳（メタデータ） (2023-04-26T19:05:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。