論文の概要: One-Shot Medical Video Object Segmentation via Temporal Contrastive Memory Networks
- arxiv url: http://arxiv.org/abs/2503.14979v1
- Date: Wed, 19 Mar 2025 08:17:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-20 15:23:36.358441
- Title: One-Shot Medical Video Object Segmentation via Temporal Contrastive Memory Networks
- Title(参考訳): 時間的コントラスト記憶ネットワークによるワンショット医用ビデオオブジェクトセグメンテーション
- Authors: Yaxiong Chen, Junjian Hu, Chunlei Li, Zixuan Zheng, Jingliang Hu, Yilei Shi, Shengwu Xiong, Xiao Xiang Zhu, Lichao Mou,
- Abstract要約: ワンショットの医療ビデオオブジェクトセグメンテーションでは、第1フレームのマスクアノテーションのみを与えられたビデオを通して、前景と背景のピクセルを分離する必要がある。
そこで本稿では, フレーム間関係を明示的にモデル化するために, フレーム間の埋め込みを分離しながら, 隣接フレームから埋め込みを整列する時間的コントラストメモリネットワークを提案する。
また、このタスクをベンチマークするために、様々なモダリティや解剖学にまたがる多様なマルチソース医療ビデオデータセットを収集します。
- 参考スコア(独自算出の注目度): 30.811519197333993
- License:
- Abstract: Video object segmentation is crucial for the efficient analysis of complex medical video data, yet it faces significant challenges in data availability and annotation. We introduce the task of one-shot medical video object segmentation, which requires separating foreground and background pixels throughout a video given only the mask annotation of the first frame. To address this problem, we propose a temporal contrastive memory network comprising image and mask encoders to learn feature representations, a temporal contrastive memory bank that aligns embeddings from adjacent frames while pushing apart distant ones to explicitly model inter-frame relationships and stores these features, and a decoder that fuses encoded image features and memory readouts for segmentation. We also collect a diverse, multi-source medical video dataset spanning various modalities and anatomies to benchmark this task. Extensive experiments demonstrate state-of-the-art performance in segmenting both seen and unseen structures from a single exemplar, showing ability to generalize from scarce labels. This highlights the potential to alleviate annotation burdens for medical video analysis. Code is available at https://github.com/MedAITech/TCMN.
- Abstract(参考訳): 複雑な医用ビデオデータの効率的な分析にはビデオオブジェクトのセグメンテーションが不可欠である。
第一フレームのマスクアノテーションのみを付与したビデオを通して、前景と背景の画素を分離する必要があるワンショット医用ビデオオブジェクトセグメンテーションの課題を紹介した。
この問題に対処するために,画像とマスクエンコーダを組み合わせた時間的コントラストメモリネットワークを提案し,隣接するフレームから埋め込みを整列する時間的コントラストメモリバンクと,フレーム間関係を明示的にモデル化し,これらの特徴を記憶する時間的コントラストメモリバンクと,セグメント化のための符号化画像特徴とメモリ読み取りを融合するデコーダを提案する。
また、このタスクをベンチマークするために、様々なモダリティや解剖学にまたがる多様なマルチソース医療ビデオデータセットを収集します。
広範に実験された実験は、目に見える構造と見えない構造の両方を1つの例から分割する際の最先端のパフォーマンスを示し、希少なラベルから一般化する能力を示している。
このことは、医用ビデオ分析におけるアノテーションの負担を軽減する可能性を強調している。
コードはhttps://github.com/MedAITech/TCMN.comで入手できる。
関連論文リスト
- VrdONE: One-stage Video Visual Relation Detection [30.983521962897477]
Video Visual Relation Detection (VidVRD)は、ビデオの時間と空間におけるエンティティの理解に焦点を当てている。
VidVRDの従来の手法は、その複雑さに悩まされ、通常、タスクを2つの部分に分割する。
VidVRDのワンステージモデルであるVrdONEを提案する。
論文 参考訳(メタデータ) (2024-08-18T08:38:20Z) - Multi-grained Temporal Prototype Learning for Few-shot Video Object
Segmentation [156.4142424784322]
FSVOS(Few-Shot Video Object)は、いくつかのアノテーション付きサポートイメージで定義されるのと同じカテゴリで、クエリビデオ内のオブジェクトをセグメントすることを目的としている。
本稿では,ビデオデータの時間的相関性を扱うために,多粒度時間的ガイダンス情報を活用することを提案する。
提案するビデオIPMTモデルは,2つのベンチマークデータセットにおいて,従来のモデルよりも大幅に優れていた。
論文 参考訳(メタデータ) (2023-09-20T09:16:34Z) - Siamese Masked Autoencoders [76.35448665609998]
ビデオから視覚的対応を学習するために,Siamese Masked Autoencoders(SiamMAE)を提案する。
SiamMAEはランダムにサンプリングされたビデオフレームのペアで動作し、非対称にそれらをマスクする。
ビデオオブジェクトのセグメンテーション、キーポイントのプロパゲーション、セマンティック部分のプロパゲーションタスクにおいて、最先端の自己管理手法よりも優れています。
論文 参考訳(メタデータ) (2023-05-23T17:59:46Z) - Self-Supervised Correction Learning for Semi-Supervised Biomedical Image
Segmentation [84.58210297703714]
半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。
共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。
異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
論文 参考訳(メタデータ) (2023-01-12T08:19:46Z) - Tag-Based Attention Guided Bottom-Up Approach for Video Instance
Segmentation [83.13610762450703]
ビデオインスタンスは、ビデオシーケンス全体にわたるオブジェクトインスタンスのセグメンテーションと追跡を扱う、基本的なコンピュータビジョンタスクである。
そこで本研究では,従来の領域プロモーター方式ではなく,画素レベルの粒度でインスタンスマスク予測を実現するための,単純なエンドツーエンドのボトムアップ方式を提案する。
提案手法は,YouTube-VIS と DAVIS-19 のデータセット上での競合結果を提供する。
論文 参考訳(メタデータ) (2022-04-22T15:32:46Z) - Generating Masks from Boxes by Mining Spatio-Temporal Consistencies in
Videos [159.02703673838639]
フレーム毎のバウンディングボックスアノテーションからセグメンテーションマスクを生成する手法を動画で紹介します。
得られた正確なマスクを用いて、ビデオオブジェクトセグメンテーション(VOS)ネットワークの弱い教師付きトレーニングを行う。
追加データは、VOSとより困難なトラッキングドメインの両方で最先端の結果をもたらす大幅に優れた一般化パフォーマンスを提供します。
論文 参考訳(メタデータ) (2021-01-06T18:56:24Z) - Video Object Segmentation with Episodic Graph Memory Networks [198.74780033475724]
セグメント化モデルを更新する学習」という新しいアイデアに対処するために,グラフメモリネットワークが開発された。
我々は、完全に連結されたグラフとして構成されたエピソードメモリネットワークを利用して、フレームをノードとして保存し、エッジによってフレーム間の相関をキャプチャする。
提案したグラフメモリネットワークは、一発とゼロショットの両方のビデオオブジェクトセグメンテーションタスクをうまく一般化できる、巧妙だが原則化されたフレームワークを提供する。
論文 参考訳(メタデータ) (2020-07-14T13:19:19Z) - Boundary-aware Context Neural Network for Medical Image Segmentation [15.585851505721433]
医用画像のセグメンテーションは、さらなる臨床分析と疾患診断のための信頼性の高い基盤を提供することができる。
既存のCNNベースのほとんどの手法は、正確なオブジェクト境界のない不満足なセグメンテーションマスクを生成する。
本稿では,2次元医用画像分割のための境界認識コンテキストニューラルネットワーク(BA-Net)を定式化する。
論文 参考訳(メタデータ) (2020-05-03T02:35:49Z) - Revisiting Sequence-to-Sequence Video Object Segmentation with
Multi-Task Loss and Skip-Memory [4.343892430915579]
ビデオオブジェクト(VOS)は、視覚領域の活発な研究領域である。
現行のアプローチでは、特にオブジェクトが小さく、あるいは一時的に隠された場合、長いシーケンスでオブジェクトを失う。
我々は,エンコーダ・デコーダアーキテクチャとメモリモジュールを組み合わせたシーケンス・ツー・シーケンス・アプローチを構築し,シーケンシャルデータを活用する。
論文 参考訳(メタデータ) (2020-04-25T15:38:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。