論文の概要: Vivim: a Video Vision Mamba for Medical Video Segmentation
- arxiv url: http://arxiv.org/abs/2401.14168v4
- Date: Thu, 1 Aug 2024 15:56:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-02 14:34:15.637288
- Title: Vivim: a Video Vision Mamba for Medical Video Segmentation
- Title(参考訳): Vivim:医療用ビデオセグメンテーション用ビデオビジョンマンバ
- Authors: Yijun Yang, Zhaohu Xing, Lequan Yu, Chunwang Huang, Huazhu Fu, Lei Zhu,
- Abstract要約: 本稿では、医用ビデオセグメンテーションタスクのためのビデオビジョンマンバベースのフレームワークVivimを提案する。
我々のビビムは、長期表現を様々なスケールのシーケンスに効果的に圧縮することができる。
超音波検査では甲状腺分節,乳房病変分節,大腸内視鏡検査ではポリープ分節が有効で有効であった。
- 参考スコア(独自算出の注目度): 52.11785024350253
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Medical video segmentation gains increasing attention in clinical practice due to the redundant dynamic references in video frames. However, traditional convolutional neural networks have a limited receptive field and transformer-based networks are mediocre in constructing long-term dependency from the perspective of computational complexity. This bottleneck poses a significant challenge when processing longer sequences in medical video analysis tasks using available devices with limited memory. Recently, state space models (SSMs), famous by Mamba, have exhibited impressive achievements in efficient long sequence modeling, which develops deep neural networks by expanding the receptive field on many vision tasks significantly. Unfortunately, vanilla SSMs failed to simultaneously capture causal temporal cues and preserve non-casual spatial information. To this end, this paper presents a Video Vision Mamba-based framework, dubbed as Vivim, for medical video segmentation tasks. Our Vivim can effectively compress the long-term spatiotemporal representation into sequences at varying scales with our designed Temporal Mamba Block. We also introduce an improved boundary-aware affine constraint across frames to enhance the discriminative ability of Vivim on ambiguous lesions. Extensive experiments on thyroid segmentation, breast lesion segmentation in ultrasound videos, and polyp segmentation in colonoscopy videos demonstrate the effectiveness and efficiency of our Vivim, superior to existing methods. The code is available at: https://github.com/scott-yjyang/Vivim. The dataset will be released once accepted.
- Abstract(参考訳): 医用ビデオセグメンテーションは、ビデオフレームの冗長なダイナミック参照により、臨床実践において注目を集める。
しかし、従来の畳み込みニューラルネットワークは受容野が限られており、トランスフォーマーベースのネットワークは計算複雑性の観点から長期的な依存関係を構築するのに適している。
このボトルネックは、限られたメモリを持つ利用可能なデバイスを使用して、医療ビデオ分析タスクの長いシーケンスを処理する場合、重大な課題となる。
近年,マンバで有名な状態空間モデル (SSM) は,多くの視覚タスクにおいて受容場を著しく拡張し,ディープニューラルネットワークを発達させる,効率的な長周期モデリングにおいて顕著な成果を上げている。
残念なことに、バニラSSMは因果側頭頂部を同時に捕捉し、非因果的空間情報を保存できなかった。
そこで本研究では,医用ビデオセグメンテーションタスクのためのビデオビジョン・マンバベースのフレームワークであるVivimを提案する。
我々のビビムは、設計したテンポラルマンバブロックを用いて、長期時空間表現を様々なスケールのシーケンスに効果的に圧縮することができる。
また,不明瞭な病変に対するビビムの識別能力を高めるために,フレーム間の境界認識アフィン制約の改善も導入した。
超音波画像における甲状腺分節,乳房病変分節,大腸内視鏡画像におけるポリープ分節の広範囲な実験により,既存の方法よりも優れたビビムの有効性と効率が示された。
コードは、https://github.com/scott-yjyang/Vivim.comで入手できる。
データセットは一度受け入れられるとリリースされます。
関連論文リスト
- Long Context Transfer from Language to Vision [74.78422371545716]
ビデオシーケンスは貴重な時間情報を提供するが、既存の大規模マルチモーダルモデル(LMM)は非常に長いビデオを理解するには不十分である。
本稿では,言語モデルの観点からこの問題にアプローチする。
言語バックボーンの文脈長を単純に外挿することで、LMMはビデオトレーニングなしで桁違いに多くの視覚的トークンを理解できるようになる。
論文 参考訳(メタデータ) (2024-06-24T17:58:06Z) - VM-UNET-V2 Rethinking Vision Mamba UNet for Medical Image Segmentation [8.278068663433261]
本稿では,MambaアーキテクチャにインスパイアされたVison Mamba-UNetV2を提案する。
VM-UNetV2は、医用画像セグメンテーションタスクにおいて競合する性能を示す。
我々はISIC17、ISIC18、CVC-300、CVC-ClinicDB、Kvasir CVC-ColonDB、ETIS-LaribPolypDBのパブリックデータセットに関する包括的な実験を行う。
論文 参考訳(メタデータ) (2024-03-14T08:12:39Z) - VideoMamba: State Space Model for Efficient Video Understanding [46.17083617091239]
VideoMambaは既存の3D畳み込みニューラルネットワークとビデオトランスフォーマーの限界を克服する。
線形複雑度演算子は、効率的な長期モデリングを可能にする。
VideoMambaはビデオ理解のための新しいベンチマークを設定している。
論文 参考訳(メタデータ) (2024-03-11T17:59:34Z) - Weak-Mamba-UNet: Visual Mamba Makes CNN and ViT Work Better for
Scribble-based Medical Image Segmentation [13.748446415530937]
本稿では医用画像セグメンテーションのための革新的な弱教師付き学習(WSL)フレームワークであるWeak-Mamba-UNetを紹介する。
WSL戦略には3つの異なるアーキテクチャがあるが、同じ対称エンコーダ・デコーダネットワークが組み込まれている。CNNベースのローカル特徴抽出用UNet、包括的なグローバルコンテキスト理解のためのSwin TransformerベースのSwinUNet、より効率的な長距離依存性モデリングのためのVMambaベースのMamba-UNetである。
Weak-Mamba-UNetの有効性は、類似したWSLの性能を超越した、処理アノテーション付きMRI心筋セグメンテーションデータセット上で検証される。
論文 参考訳(メタデータ) (2024-02-16T18:43:39Z) - Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation [21.1787366866505]
Mamba-UNetは,医療画像のセグメンテーションにおいてU-Netとマンバの能力を相乗化する新しいアーキテクチャである。
Mamba-UNetは純粋にVisual Mamba(VMamba)ベースのエンコーダデコーダ構造を採用しており、ネットワークのさまざまなスケールで空間情報を保存するためにスキップ接続を注入している。
論文 参考訳(メタデータ) (2024-02-07T18:33:04Z) - U-Mamba: Enhancing Long-range Dependency for Biomedical Image
Segmentation [10.083902382768406]
バイオメディカルイメージセグメンテーションのための汎用ネットワークであるU-Mambaを紹介する。
ディープシークエンスモデルの新たなファミリーであるState Space Sequence Models (SSM) にインスパイアされ、我々はハイブリッドCNN-SSMブロックを設計する。
我々は,CTおよびMR画像における腹部臓器の3次元分節化,内視鏡画像における計器の分節化,顕微鏡画像における細胞分節化の4つの課題について実験を行った。
論文 参考訳(メタデータ) (2024-01-09T18:53:20Z) - Siamese Masked Autoencoders [76.35448665609998]
ビデオから視覚的対応を学習するために,Siamese Masked Autoencoders(SiamMAE)を提案する。
SiamMAEはランダムにサンプリングされたビデオフレームのペアで動作し、非対称にそれらをマスクする。
ビデオオブジェクトのセグメンテーション、キーポイントのプロパゲーション、セマンティック部分のプロパゲーションタスクにおいて、最先端の自己管理手法よりも優れています。
論文 参考訳(メタデータ) (2023-05-23T17:59:46Z) - MIST: Multi-modal Iterative Spatial-Temporal Transformer for Long-form
Video Question Answering [73.61182342844639]
我々は,MIST(Multi-modal Iterative Spatial-temporal Transformer)と呼ばれる新しいモデルを導入する。
MISTは、従来の密集時空間自己アテンションをカスケードセグメントと領域選択モジュールに分解する。
異なる粒度の視覚概念は、アテンションモジュールを通して効率的に処理される。
論文 参考訳(メタデータ) (2022-12-19T15:05:40Z) - Generating Masks from Boxes by Mining Spatio-Temporal Consistencies in
Videos [159.02703673838639]
フレーム毎のバウンディングボックスアノテーションからセグメンテーションマスクを生成する手法を動画で紹介します。
得られた正確なマスクを用いて、ビデオオブジェクトセグメンテーション(VOS)ネットワークの弱い教師付きトレーニングを行う。
追加データは、VOSとより困難なトラッキングドメインの両方で最先端の結果をもたらす大幅に優れた一般化パフォーマンスを提供します。
論文 参考訳(メタデータ) (2021-01-06T18:56:24Z) - Coherent Loss: A Generic Framework for Stable Video Segmentation [103.78087255807482]
ビデオセグメンテーションの結果の視覚的品質を,ジッタリングアーティファクトがいかに劣化させるかを検討する。
本稿では,ニューラルネットワークの性能向上を目的とした汎用フレームワークを備えたコヒーレントロスを提案する。
論文 参考訳(メタデータ) (2020-10-25T10:48:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。