論文の概要: Continual Learning for Segment Anything Model Adaptation

• arxiv url: http://arxiv.org/abs/2412.06418v1
• Date: Mon, 09 Dec 2024 11:51:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:54:31.130277
• Title: Continual Learning for Segment Anything Model Adaptation
• Title（参考訳）: セグメンテーションモデル適応のための連続学習
• Authors: Jinglong Yang, Yichen Wu, Jun Cen, Wenjian Huang, Hong Wang, Jianguo Zhang,
• Abstract要約: 本研究では,8つのタスク領域を持つ新しい連続SAM適応(CoSAM)ベンチマークを提案する。 そこで,本研究では,SAMエンコーダがタスク領域ごとによく区切られた特徴を抽出するのを支援するために,新しい単純なyet- Effective Mixture of Domain Adapters (MoDA)アルゴリズムを提案する。 我々のMoDAは自然画像領域において高い競争力を維持しており、オリジナルのSAMのゼロショット性能に近づいた。
• 参考スコア（独自算出の注目度）: 14.00191851894315
• License:
• Abstract: Although the current different types of SAM adaptation methods have achieved promising performance for various downstream tasks, such as prompt-based ones and adapter-based ones, most of them belong to the one-step adaptation paradigm. In real-world scenarios, we are generally confronted with the dynamic scenario where the data comes in a streaming manner. Driven by the practical need, in this paper, we first propose a novel Continual SAM adaptation (CoSAM) benchmark with 8 different task domains and carefully analyze the limitations of the existing SAM one-step adaptation methods in the continual segmentation scenario. Then we propose a novel simple-yet-effective Mixture of Domain Adapters (MoDA) algorithm which utilizes the Global Feature Tokens (GFT) and Global Assistant Tokens (GAT) modules to help the SAM encoder extract well-separated features for different task domains, and then provide the accurate task-specific information for continual learning. Extensive experiments demonstrate that our proposed MoDA obviously surpasses the existing classic continual learning methods, as well as prompt-based and adapter-based approaches for continual segmentation. Moreover, after sequential learning on the CoSAM benchmark with diverse data distributions, our MoDA maintains highly competitive results in the natural image domain, approaching the zero-shot performance of the original SAM, demonstrating its superior capability in knowledge preservation. Notably, the proposed MoDA can be seamlessly integrated into various one-step adaptation methods of SAM, which can consistently bring obvious performance gains. Code is available at \url{https://github.com/yangjl1215/CoSAM}
• Abstract（参考訳）: 現在のSAM適応法は、プロンプトベースのタスクやアダプタベースのタスクなど、様々なダウンストリームタスクにおいて有望な性能を実現しているが、そのほとんどはワンステップ適応パラダイムに属する。 現実のシナリオでは、一般的に、データがストリーミング形式でやってくる動的なシナリオに直面しています。 本稿では,8つのタスク領域を持つ新しいContinuous SAMアダプティブ(CoSAM)ベンチマークを提案し,継続セグメンテーションシナリオにおける既存のSAMワンステップアダプティブ手法の限界を慎重に分析する。 そこで本研究では,GFT(Global Feature Tokens)とGAT(Global Assistant Tokens)のモジュールを併用し,SAMエンコーダがタスク領域ごとによく区切られた特徴を抽出し,継続学習のための正確なタスク固有情報を提供する。 大規模な実験により,提案したMoDAは,既存の古典的連続学習手法や,逐次的セグメンテーションのためのプロンプトベースおよびアダプタベースアプローチをはるかに上回っていることが明らかとなった。 さらに,多種多様なデータ分布を持つCoSAMベンチマークを逐次学習した後,MoDAは自然画像領域における高い競争力を保ち,元のSAMのゼロショット性能に近づき,知識保存の優れた能力を実証した。 特に,提案したMoDAをSAMの一段階適応手法にシームレスに統合することで,性能向上の持続性を実現することができる。 コードは \url{https://github.com/yangjl1215/CoSAM} で公開されている。

関連論文リスト

• Promptable Anomaly Segmentation with SAM Through Self-Perception Tuning [63.55145330447408]
  Segment Anything Model (SAM) は、その顕著な一般化能力により、異常セグメンテーションタスクにおいて大きな進歩を遂げている。 SAMを直接適用する既存のメソッドは、しばしばドメインシフトの問題を見落としている。 本稿では, SAMの異常セグメンテーションに対する知覚能力を高めることを目的とした, 自己パーセプティノンチューニング(SPT)手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T08:33:25Z)
• On Efficient Variants of Segment Anything Model: A Survey [63.127753705046]
  Segment Anything Model (SAM) は画像分割タスクの基本モデルであり、多様なアプリケーションにまたがる強力な一般化で知られている。 これを解決するために、精度を保ちながら効率を高めるために様々なSAM変種が提案されている。 この調査は、これらの効率的なSAM変種に関する最初の包括的なレビューを提供する。
  論文  参考訳（メタデータ） (2024-10-07T11:59:54Z)
• TAVP: Task-Adaptive Visual Prompt for Cross-domain Few-shot Segmentation [44.134340976905655]
  本研究は,Segment Anything Model(SAM)に基づくタスク適応型プロンプトフレームワークを提案する。 独自の生成アプローチを使用して、包括的なモデル構造と特殊なプロトタイプ計算を併用する。 タスク固有かつ重み付けされたガイダンスの後、SAMの豊富な特徴情報は、クロスドミナン・ショット・セグメンテーションにおいてよりよく学習できる。
  論文  参考訳（メタデータ） (2024-09-09T07:43:58Z)
• Multi-scale Contrastive Adaptor Learning for Segmenting Anything in Underperformed Scenes [12.36950265154199]
  本稿では, MCA-SAM という新しいマルチスケールコントラスト適応学習手法を提案する。 MCA-SAMはトークンレベルとサンプルレベルの両方で、巧妙に設計された対照的な学習フレームワークを通じて、アダプタのパフォーマンスを向上させる。 MCA-SAMは新しいベンチマークを設定し、既存の手法を3つの挑戦的な領域で上回る結果が得られた。
  論文  参考訳（メタデータ） (2024-08-12T06:23:10Z)
• UniTTA: Unified Benchmark and Versatile Framework Towards Realistic Test-Time Adaptation [66.05528698010697]
  Test-Time Adaptationは、テスト中にトレーニング済みのモデルを対象のドメインに適応させることを目的としている。 研究者は様々な挑戦シナリオを特定し、これらの課題に対処するための様々な方法を開発した。 本稿では,包括的かつ広く適用可能な統一テスト時間適応ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-07-29T15:04:53Z)
• Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
  ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。 本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。 本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
  論文  参考訳（メタデータ） (2024-07-26T17:51:58Z)
• AlignSAM: Aligning Segment Anything Model to Open Context via Reinforcement Learning [61.666973416903005]
  Segment Anything Model (SAM)は、オープンワールドシナリオにおいて、プロンプトのガイダンスによって、その印象的な一般化機能を実証した。 オープンコンテキストにSAMをアライメントするための自動プロンプトのための新しいフレームワークAlignSAMを提案する。
  論文  参考訳（メタデータ） (2024-06-01T16:21:39Z)
• ASAM: Boosting Segment Anything Model with Adversarial Tuning [9.566046692165884]
  本稿では, 対角的チューニングにより基礎モデルの性能を増幅する新しい手法であるASAMを紹介する。 我々は,自然言語処理における実装の成功に触発された,自然対逆例の可能性を生かした。 本手法は, 対向例のフォトリアリズムを維持し, 元のマスクアノテーションとの整合性を確保する。
  論文  参考訳（メタデータ） (2024-05-01T00:13:05Z)
• GoodSAM: Bridging Domain and Capacity Gaps via Segment Anything Model for Distortion-aware Panoramic Semantic Segmentation [22.344399402787644]
  本稿では,新しい課題に取り組み,新たなセグメンテーションモデル(SAM)から知識を伝達する方法について述べる。 そこで我々は,サンブルロジットを生成するためにSAMと統合された意味情報を提供する教師アシスタント(TA)を導入したGoodSAMというフレームワークを提案する。 2つのベンチマーク実験により、我々のGoodSAMは最先端(SOTA)ドメイン適応法よりも3.75%のmIoU改善を実現していることが示された。
  論文  参考訳（メタデータ） (2024-03-25T02:30:32Z)
• Divide and Adapt: Active Domain Adaptation via Customized Learning [56.79144758380419]
  対象インスタンスを成層化可能な4つのカテゴリに分割する新しいADAフレームワークであるDiaNA(Divide-and-Adapt)を提案する。 不確実性とドメイン性に基づく新しいデータ分割プロトコルにより、DiaNAは最も有利なサンプルを正確に認識することができる。 の精神のおかげで、DiaNAはドメインギャップの大きなバリエーションでデータを処理できる。
  論文  参考訳（メタデータ） (2023-07-21T14:37:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。