論文の概要: Learning to "Segment Anything" in Thermal Infrared Images through
Knowledge Distillation with a Large Scale Dataset SATIR
- arxiv url: http://arxiv.org/abs/2304.07969v1
- Date: Mon, 17 Apr 2023 03:27:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 16:21:48.833052
- Title: Learning to "Segment Anything" in Thermal Infrared Images through
Knowledge Distillation with a Large Scale Dataset SATIR
- Title(参考訳): 大規模データセットsatirを用いた知識蒸留による熱赤外画像の「何か」の学習
- Authors: Junzhang Chen and Xiangzhi Bai
- Abstract要約: Segment Anything Model(SAM)は、Meta AIが最近導入した、プロンプト可能なセグメンテーションモデルである。
熱赤外画像セグメンテーションタスクの事前訓練にSAMを用いて擬似ラベルを生成するフレームワークを提案する。
我々のフレームワークはSAMのような大規模データで訓練されたモデルと協調して特殊分野の問題に対処するための新しいアプローチを提示している。
- 参考スコア(独自算出の注目度): 15.198798677908615
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Segment Anything Model (SAM) is a promptable segmentation model recently
introduced by Meta AI that has demonstrated its prowess across various fields
beyond just image segmentation. SAM can accurately segment images across
diverse fields, and generating various masks. We discovered that this ability
of SAM can be leveraged to pretrain models for specific fields. Accordingly, we
have proposed a framework that utilizes SAM to generate pseudo labels for
pretraining thermal infrared image segmentation tasks. Our proposed framework
can effectively improve the accuracy of segmentation results of specific
categories beyond the SOTA ImageNet pretrained model. Our framework presents a
novel approach to collaborate with models trained with large data like SAM to
address problems in special fields. Also, we generated a large scale thermal
infrared segmentation dataset used for pretaining, which contains over 100,000
images with pixel-annotation labels. This approach offers an effective solution
for working with large models in special fields where label annotation is
challenging. Our code is available at https://github.com/chenjzBUAA/SATIR
- Abstract(参考訳): Segment Anything Model(SAM)は、Meta AIが最近導入した、画像セグメンテーション以外のさまざまな分野にまたがる、プロンプト可能なセグメンテーションモデルである。
SAMはさまざまなフィールドに画像を正確に分割し、さまざまなマスクを生成することができる。
SAMのこの能力は、特定のフィールドに対する事前訓練モデルに活用できることを発見した。
そこで本研究では,SAMを用いて熱赤外画像分割作業の事前訓練を行うための擬似ラベルを生成するフレームワークを提案する。
提案フレームワークは,SOTAイメージネット事前学習モデルを超えて,特定のカテゴリのセグメンテーション結果の精度を効果的に向上させることができる。
我々のフレームワークはSAMのような大規模データで訓練されたモデルと協調して特殊分野の問題に対処するための新しいアプローチを提示している。
また,画素アノテーションラベル付き10万枚以上の画像を含む大規模熱赤外セグメンテーションデータセットを作成した。
このアプローチは、ラベルアノテーションが難しい特別な分野において、大きなモデルを扱うための効果的なソリューションを提供する。
私たちのコードはhttps://github.com/chenjzBUAA/SATIRで利用可能です。
関連論文リスト
- nnSAM: Plug-and-play Segment Anything Model Improves nnUNet Performance [13.056321925093792]
本稿では SAM モデルと nnUNet モデルを統合し,より正確で堅牢な医用画像分割を実現する nnSAM を提案する。
nnSAMは、医療画像セグメンテーションの潜在的な新しいベンチマークとして、幅広い適用性と特殊な効率性を組み合わせたツールを提供している。
論文 参考訳(メタデータ) (2023-09-29T04:26:25Z) - Semantic-SAM: Segment and Recognize Anything at Any Granularity [83.64686655044765]
本稿では,任意の粒度でセグメンテーションと認識を可能にする汎用画像セグメンテーションモデルであるSemantic-SAMを紹介する。
複数のデータセットを3つの粒度に集約し、オブジェクトとパーツの分離した分類を導入する。
マルチグラニュラリティ機能を実現するために,各クリックで複数のレベルのマスクを生成できるマルチ選択学習方式を提案する。
論文 参考訳(メタデータ) (2023-07-10T17:59:40Z) - AIMS: All-Inclusive Multi-Level Segmentation [93.5041381700744]
視覚領域を3つのレベル(パート、エンティティ、リレーション)に分割するタスクであるAll-Inclusive Multi-Level(AIMS)を提案する。
また、アノテーションの不整合とタスク相関の2つの大きな課題に対処するために、マルチデータセットのマルチタスクトレーニングを通じて統合されたAIMSモデルを構築します。
論文 参考訳(メタデータ) (2023-05-28T16:28:49Z) - Personalize Segment Anything Model with One Shot [52.54453744941516]
我々は,Segment Anything Model (SAM) のためのトレーニング不要なパーソナライズ手法を提案する。
PerSAMは、参照マスクを持つ1つのイメージしか持たないため、最初にターゲットのコンセプトを以前のロケーションでローカライズする。
PerSAMは、ターゲット誘導された注意、ターゲットセマンティックなプロンプト、そしてカスケードされたポストリファインメントという3つのテクニックを通じて、他の画像やビデオにセグメントする。
論文 参考訳(メタデータ) (2023-05-04T17:59:36Z) - Customized Segment Anything Model for Medical Image Segmentation [10.933449793055313]
我々は,大規模画像分割モデルであるSAM(Segment Anything Model)に基づいて,医用画像分割のための大規模モデルをカスタマイズする新たな研究パラダイムを探求する。
SAMedは、SAMイメージエンコーダにローランクベース(LoRA)ファインタニング戦略を適用し、ラベル付き医用画像セグメンテーションデータセットにプロンプトエンコーダとマスクデコーダを併用する。
我々の訓練されたSAMedモデルは,最先端の手法に匹敵する医用画像のセマンティックセグメンテーションを実現する。
論文 参考訳(メタデータ) (2023-04-26T19:05:34Z) - Input Augmentation with SAM: Boosting Medical Image Segmentation with
Segmentation Foundation Model [36.015065439244495]
Segment Anything Model (SAM) はコンピュータビジョンタスクのための汎用セグメンテーションのための大規模モデルである。
SAMは100万枚の画像と10億枚以上のマスクを使って訓練され、自然の風景画像に広範囲のオブジェクトのセグメンテーション結果を生成することができる。
本報告では,SAMは医用画像データに高品質なセグメンテーションを提供していないが,その生成マスク,特徴,安定性スコアは,より優れた医用画像セグメンテーションモデルの構築と訓練に有用であることを示す。
論文 参考訳(メタデータ) (2023-04-22T07:11:53Z) - SAM Fails to Segment Anything? -- SAM-Adapter: Adapting SAM in
Underperformed Scenes: Camouflage, Shadow, Medical Image Segmentation, and
More [13.047310918166762]
ドメイン固有の情報や視覚的プロンプトを,単純で効果的なアダプタを用いてセグメント化ネットワークに組み込んだtextbfSAM-Adapterを提案する。
タスク固有のネットワークモデルよりも優れていて、テストしたタスクで最先端のパフォーマンスを実現できます。
論文 参考訳(メタデータ) (2023-04-18T17:38:54Z) - Segment Anything [108.16489338211093]
私たちはこれまでで最大のセグメンテーションデータセットを構築し、1100万ライセンスのマスクを10億枚以上使用し、画像のプライバシーを尊重しています。
このモデルは、高速に撮影できるように設計および訓練されており、ゼロショットを新しい画像配信やタスクに転送することができる。
多数のタスクでその能力を評価した結果、ゼロショット性能は印象的であることが判明した。
論文 参考訳(メタデータ) (2023-04-05T17:59:46Z) - DatasetGAN: Efficient Labeled Data Factory with Minimal Human Effort [117.41383937100751]
現在のディープネットワークは、大規模なデータセットのトレーニングの恩恵を受ける、非常にデータハングリーです。
GAN潜入コードがどのようにデコードされ、イメージのセマンティックセグメンテーションを生成するかを示す。
これらの生成されたデータセットは、実際のデータセットと同じように、コンピュータビジョンアーキテクチャのトレーニングに使用できます。
論文 参考訳(メタデータ) (2021-04-13T20:08:29Z) - Semantic Segmentation with Generative Models: Semi-Supervised Learning
and Strong Out-of-Domain Generalization [112.68171734288237]
本論文では,画像とラベルの再生モデルを用いた識別画素レベルのタスクのための新しいフレームワークを提案する。
我々は,共同画像ラベルの分布を捕捉し,未ラベル画像の大規模な集合を用いて効率的に訓練する生成的対向ネットワークを学習する。
ドメイン内性能をいくつかのベースラインと比較し,ドメイン外一般化を極端に示す最初の例である。
論文 参考訳(メタデータ) (2021-04-12T21:41:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。