論文の概要: Static Segmentation by Tracking: A Frustratingly Label-Efficient Approach to Fine-Grained Segmentation
- arxiv url: http://arxiv.org/abs/2501.06749v1
- Date: Sun, 12 Jan 2025 08:27:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-14 14:28:19.726140
- Title: Static Segmentation by Tracking: A Frustratingly Label-Efficient Approach to Fine-Grained Segmentation
- Title（参考訳）: 追跡による静的セグメンテーション:微粒化セグメンテーションへのフラストレーションに富んだ効率的なアプローチ
- Authors: Zhenyang Feng, Zihe Wang, Saul Ibaven Bueno, Tomasz Frelek, Advikaa Ramesh, Jingyan Bai, Lemeng Wang, Zanming Huang, Jianyang Gu, Jinsu Yoo, Tai-Yu Pan, Arpita Chowdhury, Michelle Ramirez, Elizabeth G. Campolongo, Matthew J. Thompson, Christopher G. Lawrence, Sydne Record, Neil Rosser, Anuj Karpatne, Daniel Rubenstein, Hilmar Lapp, Charles V. Stewart, Tanya Berger-Wolf, Yu Su, Wei-Lun Chao,
- Abstract要約: SST (Static by Tracking) というラベル効率の高い手法を提案する。
SSTは、同一種の標本が固有の変異を持つという知見に基づいて構築されている。
その結果,SSTは1種に1つのラベル付き画像で高品質な特徴と部分のセグメンテーションを達成できることが判明した。
- 参考スコア（独自算出の注目度）: 22.600615863425215
- License:
- Abstract: We study image segmentation in the biological domain, particularly trait and part segmentation from specimen images (e.g., butterfly wing stripes or beetle body parts). This is a crucial, fine-grained task that aids in understanding the biology of organisms. The conventional approach involves hand-labeling masks, often for hundreds of images per species, and training a segmentation model to generalize these labels to other images, which can be exceedingly laborious. We present a label-efficient method named Static Segmentation by Tracking (SST). SST is built upon the insight: while specimens of the same species have inherent variations, the traits and parts we aim to segment show up consistently. This motivates us to concatenate specimen images into a ``pseudo-video'' and reframe trait and part segmentation as a tracking problem. Concretely, SST generates masks for unlabeled images by propagating annotated or predicted masks from the ``pseudo-preceding'' images. Powered by Segment Anything Model 2 (SAM~2) initially developed for video segmentation, we show that SST can achieve high-quality trait and part segmentation with merely one labeled image per species -- a breakthrough for analyzing specimen images. We further develop a cycle-consistent loss to fine-tune the model, again using one labeled image. Additionally, we highlight the broader potential of SST, including one-shot instance segmentation on images taken in the wild and trait-based image retrieval.
- Abstract（参考訳）: 本研究は, 生物領域のイメージセグメンテーション, 特に特徴と部分セグメンテーションについて, 標本画像(例えば, 蝶の羽のストライプ, 甲虫の体の一部)から検討した。
これは、生物の生物学を理解する上で重要な、きめ細かいタスクです。
従来の手法では、しばしば種ごとに何百もの画像に対して手書きのマスクを装着し、これらのラベルを他の画像に一般化するためのセグメンテーションモデルを訓練する。
本稿では,SST (Static Segmentation by Tracking) というラベル効率の高い手法を提案する。
SSTは、同じ種の標本が固有のバリエーションを持っているのに対して、私たちがセグメント化しようとしている特徴や部位は一貫して現れます。
これにより,検体像を ‘pseudo-video'' に分解し,トラストと部分分割を追跡問題として再編成する。
具体的には,<pseudo-preceding'画像から注釈付きまたは予測されたマスクを伝搬することにより,ラベルなし画像用のマスクを生成する。
ビデオセグメンテーションのために開発されたSegment Anything Model 2 (SAM~2)により、SSTは1種につき1つのラベル付き画像で高品質な特徴と部分セグメンテーションを達成できることが示されている。
さらに、1つのラベル付き画像を用いてモデルを微調整するサイクル一貫性損失を開発する。
さらに、野生で撮影された画像と特徴に基づく画像検索のワンショットインスタンスセグメンテーションを含む、SSTの幅広い可能性を強調した。
関連論文リスト
- Adaptive Noise-Tolerant Network for Image Segmentation [1.57731592348751]
そこで本研究では,非完全・ノイズセグメンテーションとオフザシェルフセグメンテーションアルゴリズムを組み合わせることで,適応型ノイズ耐性ネットワーク(ANTN)モデルにより,より優れたセグメンテーション結果が得られるかどうかを考察する。
1)複数のノイズラベルを1つのディープラーニングモデルに統合できる,(2)確率的パラメータを含む雑音分割モデリングは、与えられたテスト画像の外観に応じて適応する,という2つの新しい側面で、ノイズラベルのディープラーニングを画像セグメンテーションに拡張する。
論文 参考訳（メタデータ） (2025-01-13T09:49:34Z) - SMITE: Segment Me In TimE [35.56475607621353]
画像拡散モデルと追加の追跡機構に事前学習したテキストを用いて、ビデオ内のオブジェクトをセグメントする方法を示す。
提案手法は,様々なセグメンテーションシナリオを効果的に管理し,最先端の代替品より優れていることを示す。
論文 参考訳（メタデータ） (2024-10-24T08:38:20Z) - Unsupervised Universal Image Segmentation [59.0383635597103]
本稿では,Unsupervised Universal Model (U2Seg) を提案する。
U2Segは、自己教師付きモデルを利用して、これらのセグメンテーションタスクの擬似意味ラベルを生成する。
次に、これらの擬似意味ラベル上でモデルを自己学習し、かなりの性能向上をもたらす。
論文 参考訳（メタデータ） (2023-12-28T18:59:04Z) - SamDSK: Combining Segment Anything Model with Domain-Specific Knowledge
for Semi-Supervised Learning in Medical Image Segmentation [27.044797468878837]
Segment Anything Model (SAM)は、自然画像に広範囲のオブジェクトを分割する機能を示す。
本稿では、SAMとドメイン固有の知識を組み合わせて、ラベルなし画像の信頼性の高い利用法を提案する。
本研究は,医用画像セグメンテーションのための半教師あり学習の新たな方向性を創出する。
論文 参考訳（メタデータ） (2023-08-26T04:46:10Z) - Generative Semantic Segmentation [40.57488730457299]
セマンティックセグメンテーションのための生成学習手法を提案する。
画像条件付きマスク生成問題として,セマンティックセグメンテーションを論じる。
実験により,GASは標準的なセマンティックセグメンテーション設定において,先行技術と競合して動作可能であることが示された。
論文 参考訳（メタデータ） (2023-03-20T17:55:37Z) - Self-Supervised Correction Learning for Semi-Supervised Biomedical Image
Segmentation [84.58210297703714]
半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。
共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。
異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
論文 参考訳（メタデータ） (2023-01-12T08:19:46Z) - Learning to Annotate Part Segmentation with Gradient Matching [58.100715754135685]
本稿では,事前学習したGANを用いて,高品質な画像を生成することで,半教師付き部分分割タスクに対処することに焦点を当てる。
特に、アノテータ学習を学習から学習までの問題として定式化する。
提案手法は,実画像,生成された画像,さらには解析的に描画された画像を含む,幅広いラベル付き画像からアノテータを学習可能であることを示す。
論文 参考訳（メタデータ） (2022-11-06T01:29:22Z) - Deep Spectral Methods: A Surprisingly Strong Baseline for Unsupervised
Semantic Segmentation and Localization [98.46318529630109]
画像分解をグラフ分割問題として再フレーミングすることで,従来のスペクトル分割法から着想を得た。
これらの固有ベクトルはすでにイメージを意味のあるセグメントに分解しており、シーン内のオブジェクトのローカライズに容易に利用できる。
データセットにまたがるこれらのセグメントに関連する機能をクラスタ化することで、明確に定義された、名前付き可能なリージョンを得ることができる。
論文 参考訳（メタデータ） (2022-05-16T17:47:44Z) - Semantic Segmentation with Generative Models: Semi-Supervised Learning
and Strong Out-of-Domain Generalization [112.68171734288237]
本論文では,画像とラベルの再生モデルを用いた識別画素レベルのタスクのための新しいフレームワークを提案する。
我々は,共同画像ラベルの分布を捕捉し,未ラベル画像の大規模な集合を用いて効率的に訓練する生成的対向ネットワークを学習する。
ドメイン内性能をいくつかのベースラインと比較し,ドメイン外一般化を極端に示す最初の例である。
論文 参考訳（メタデータ） (2021-04-12T21:41:25Z) - Causal Intervention for Weakly-Supervised Semantic Segmentation [122.1846968696862]
画像レベルのラベルのみを用いて、より優れたピクセルレベルの擬似マスクを生成することを目指している。
画像,コンテキスト,およびクラスラベル間の因果関係を分析するための構造因果モデルを提案する。
そこで本研究では,画像レベルの分類において,矛盾するバイアスを取り除くためのコンテキスト調整(CONTA)手法を提案する。
論文 参考訳（メタデータ） (2020-09-26T09:26:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。