論文の概要: SAMCL: Empowering SAM to Continually Learn from Dynamic Domains

• arxiv url: http://arxiv.org/abs/2412.05012v1
• Date: Fri, 06 Dec 2024 13:05:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:56:04.252955
• Title: SAMCL: Empowering SAM to Continually Learn from Dynamic Domains
• Title（参考訳）: SAMCL: SAMを動的ドメインから継続的に学習させる
• Authors: Zeqing Wang, Kangye Ji, Di Wang, Fei Cheng,
• Abstract要約: Segment Anything Model (SAM)は、オープンな世界で、特に多種多様な動的ドメインにおいて、オブジェクトのセグメンテーションに苦労する。 本研究では,これらの課題に対処する新しいCS手法であるSAMCLを提案する。 SAMを動的ドメインにまたがるCS能力で強化する最初の研究である。
• 参考スコア（独自算出の注目度）: 11.019654488925244
• License:
• Abstract: Segment Anything Model (SAM) struggles with segmenting objects in the open world, especially across diverse and dynamic domains. Continual segmentation (CS) is a potential technique to solve this issue, but a significant obstacle is the intractable balance between previous domains (stability) and new domains (plasticity) during CS. Furthermore, how to utilize two kinds of features of SAM, images and prompts, in an efficient and effective CS manner remains a significant hurdle. In this work, we propose a novel CS method, termed SAMCL, to address these challenges. It is the first study to empower SAM with the CS ability across dynamic domains. SAMCL decouples stability and plasticity during CS by two components: $\textit{AugModule}$ and $\textit{Module Selector}$. Specifically, SAMCL leverages individual $\textit{AugModule}$ to effectively and efficiently learn new relationships between images and prompts in each domain. $\textit{Module Selector}$ selects the appropriate module during testing, based on the inherent ability of SAM to distinguish between different domains. These two components enable SAMCL to realize a task-agnostic method without any interference across different domains. Experimental results demonstrate that SAMCL outperforms state-of-the-art methods, achieving an exceptionally low average forgetting of just $0.5$%, along with at least a $2.5$% improvement in transferring to unseen domains. Moreover, the tunable parameter consumption in AugModule is about $0.236$MB, marking at least a $23.3$% reduction compared to other fine-tuning methods.
• Abstract（参考訳）: Segment Anything Model (SAM)は、オープンな世界で、特に多種多様な動的ドメインにおいて、オブジェクトのセグメンテーションに苦労する。 連続セグメンテーション(CS)は、この問題を解決するための潜在的手法であるが、重要な障害は、CS中の以前のドメイン(安定性)と新しいドメイン(塑性)との難易度バランスである。 さらに、SAM、画像、プロンプトの2種類の特徴をどのように効果的かつ効果的なCS方式で活用するかは、依然として大きなハードルである。 本研究では,これらの課題に対処する新しいCS手法であるSAMCLを提案する。 SAMを動的ドメインにまたがるCS能力で強化する最初の研究である。 SAMCLはCSの安定性と可塑性を2つのコンポーネントで分離する。 具体的には、SAMCLは個々の$\textit{AugModule}$を利用して、各ドメイン内の画像とプロンプトの間の新しい関係を効果的に、効率的に学習する。 $\textit{Module Selector}$は、異なるドメインを区別するSAM固有の能力に基づいて、テスト中の適切なモジュールを選択する。 これらの2つのコンポーネントにより、SAMCLは異なるドメイン間で干渉することなくタスクに依存しないメソッドを実現することができる。 実験の結果、SAMCLは最先端の手法よりも優れており、わずか0.5ドル%という極めて低い平均的忘れ込みと、少なくとも2.5ドル%の未確認領域への転送の改善を実現している。 さらに、AugModuleの調整可能なパラメータ消費量は約0.236$MBであり、他の微調整法と比較して少なくとも23.3$%の削減率を示している。

関連論文リスト

• $\boldsymbolμ\mathbf{P^2}$: Effective Sharpness Aware Minimization Requires Layerwise Perturbation Scaling [49.25546155981064]
  シャープネス認識最小化(SAM)を用いたニューラルネットワークの無限幅限界について検討する。 この結果から, SAMのダイナミクスは, 広範なニューラルネットワークにおいて, 最後の層のみにSAMを適用することで効果的に低下することが判明した。 対照的に、階層的にスケールする摂動を伴う安定したパラメータ化を識別し、それを $textitMaximal Update and Perturbation $$mu$P$2$ と呼びます。
  論文  参考訳（メタデータ） (2024-10-31T16:32:04Z)
• GoodSAM++: Bridging Domain and Capacity Gaps via Segment Anything Model for Panoramic Semantic Segmentation [22.344399402787644]
  GoodSAM++はSAMの強力なゼロショットインスタンスセグメンテーション機能を利用して、コンパクトなパノラマ意味セグメンテーションモデルを学ぶ新しいフレームワークである。 GoodSAM++は、1)パノラマ画像のセマンティックラベルと固有の歪み問題をSAMが提供できないこと、2)SAMと学生の間に大きな容量格差があること、の2つの重要な課題に対処する。
  論文  参考訳（メタデータ） (2024-08-17T06:53:10Z)
• SAM-CP: Marrying SAM with Composable Prompts for Versatile Segmentation [88.80792308991867]
  Segment Anything Model (SAM)は、イメージピクセルをパッチにグループ化する機能を示しているが、セグメンテーションにそれを適用することは依然として大きな課題に直面している。 本稿では,SAM-CPを提案する。SAM-CPはSAM以外の2種類の構成可能なプロンプトを確立し,多目的セグメンテーションのために構成する単純な手法である。 実験により、SAM-CPはオープンドメインとクローズドドメインの両方においてセマンティック、例、およびパノプティックセグメンテーションを達成することが示された。
  論文  参考訳（メタデータ） (2024-07-23T17:47:25Z)
• FocSAM: Delving Deeply into Focused Objects in Segmenting Anything [58.042354516491024]
  Segment Anything Model (SAM)はセグメンテーションモデルにおいて注目すべきマイルストーンである。 2つの重要な側面に基づいてパイプラインを再設計したFocSAMを提案する。 まず,Dwin-MSA(Dynamic Window Multi-head Self-Attention)を提案する。 次に,Pixel-wise Dynamic ReLU (P-DyReLU)を提案する。
  論文  参考訳（メタデータ） (2024-05-29T02:34:13Z)
• Moving Object Segmentation: All You Need Is SAM (and Flow) [82.78026782967959]
  SAMのセグメンテーション能力と移動物体の発見・グループ化能力を利用する光フローとSAMを組み合わせた2つのモデルについて検討する。 第1のモデルでは、RGBではなく光の流れを入力としてSAMに適応させ、第2のモデルではRGBを入力として、フローをセグメント化プロンプトとして使用する。 これらの驚くほど単純な方法は、追加の修正なしに、シングルオブジェクトとマルチオブジェクトのベンチマークにおいて、以前のアプローチをかなり上回っている。
  論文  参考訳（メタデータ） (2024-04-18T17:59:53Z)
• WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
  病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。 トレーニングオーバーヘッドを最小限にしながら、トレーニング済みの知識を完全に活用するために、SAMは凍結し、最小限のパラメータしか導入しません。 本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
  論文  参考訳（メタデータ） (2024-03-14T10:30:43Z)
• BLO-SAM: Bi-level Optimization Based Overfitting-Preventing Finetuning of SAM [37.1263294647351]
  BLO-SAMを導入し、二段階最適化(BLO)に基づいてSAM(Segment Anything Model)を微調整する。 BLO-SAMは、モデルの重みパラメータのトレーニングと、トレーニングデータセットの2つの別々のサブセットへの迅速な埋め込みによって、過適合のリスクを低減する。 その結果、BLO-SAMは様々な最先端画像セマンティックセグメンテーション法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-02-26T06:36:32Z)
• TinySAM: Pushing the Envelope for Efficient Segment Anything Model [76.21007576954035]
  我々は,強力なゼロショット性能を維持しつつ,小さなセグメントの任意のモデル(TinySAM)を得るためのフレームワークを提案する。 本研究は,まず,軽量学生モデルを蒸留するためのハードプロンプトサンプリングとハードマスク重み付け戦略を用いた,フルステージの知識蒸留法を提案する。 また、学習後の量子化を高速化可能なセグメンテーションタスクに適用し、計算コストをさらに削減する。
  論文  参考訳（メタデータ） (2023-12-21T12:26:11Z)
• Stable Segment Anything Model [79.9005670886038]
  SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。 本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。 1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
  論文  参考訳（メタデータ） (2023-11-27T12:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。