論文の概要: GazeSAM: What You See is What You Segment
- arxiv url: http://arxiv.org/abs/2304.13844v1
- Date: Wed, 26 Apr 2023 22:18:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-28 15:02:48.223464
- Title: GazeSAM: What You See is What You Segment
- Title(参考訳): GazeSAM:目にするものはセグメンテーション
- Authors: Bin Wang, Armstrong Aboah, Zheyuan Zhang, Ulas Bagci
- Abstract要約: 本研究では,眼球追跡技術とSAM(Segment Anything Model)の可能性について検討し,医用画像のセグメンテーションを自動化する協調的な人間とコンピュータのインタラクションシステムを設計する。
画像診断における関心領域を単純に見ることで,放射線学者がセグメンテーションマスクを収集できるtextbfGazeSAMシステムを提案する。
- 参考スコア(独自算出の注目度): 11.116729994007686
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study investigates the potential of eye-tracking technology and the
Segment Anything Model (SAM) to design a collaborative human-computer
interaction system that automates medical image segmentation. We present the
\textbf{GazeSAM} system to enable radiologists to collect segmentation masks by
simply looking at the region of interest during image diagnosis. The proposed
system tracks radiologists' eye movement and utilizes the eye-gaze data as the
input prompt for SAM, which automatically generates the segmentation mask in
real time. This study is the first work to leverage the power of eye-tracking
technology and SAM to enhance the efficiency of daily clinical practice.
Moreover, eye-gaze data coupled with image and corresponding segmentation
labels can be easily recorded for further advanced eye-tracking research. The
code is available in \url{https://github.com/ukaukaaaa/GazeSAM}.
- Abstract(参考訳): 本研究では,眼球追跡技術とSAM(Segment Anything Model)の可能性について検討し,医用画像のセグメンテーションを自動化する協調的な人間とコンピュータのインタラクションシステムを設計する。
画像診断における関心領域を単純に見ることで,放射線科医がセグメンテーションマスクを収集できるようにする。
提案システムは,放射線科医の眼球運動を追跡し,眼球運動データをSAMの入力プロンプトとして利用し,リアルタイムでセグメンテーションマスクを自動生成する。
本研究は,眼球追跡技術とSAMのパワーを活用し,日常臨床の効率を高めるための最初の研究である。
さらに、画像と対応するセグメンテーションラベルとを組み合わせた視線データを容易に記録し、さらなる高度な視線追跡研究を行うことができる。
コードは \url{https://github.com/ukaukaaaa/GazeSAM} で公開されている。
関連論文リスト
- Test-Time Adaptation with SaLIP: A Cascade of SAM and CLIP for Zero shot Medical Image Segmentation [10.444726122035133]
臓器分割のための単純な統合フレームワークSaLIPを提案する。
SAMは画像内の部分ベースのセグメンテーションに使用され、CLIPは関心領域に対応するマスクを検索する。
最後に、SAMは検索されたROIによって特定の臓器を分節するように促される。
論文 参考訳(メタデータ) (2024-04-09T14:56:34Z) - MedCLIP-SAM: Bridging Text and Image Towards Universal Medical Image Segmentation [2.2585213273821716]
本稿では,CLIPモデルとSAMモデルを組み合わせて臨床スキャンのセグメンテーションを生成する新しいフレームワーク MedCLIP-SAM を提案する。
3つの多様なセグメンテーションタスクと医用画像モダリティを広範囲にテストすることにより、提案手法は優れた精度を示した。
論文 参考訳(メタデータ) (2024-03-29T15:59:11Z) - Segment Anything Model-guided Collaborative Learning Network for
Scribble-supervised Polyp Segmentation [45.15517909664628]
ポリープのセグメンテーションは、初期におけるポリープの正確な位置決定に重要な役割を担っている。
診断中の医師によるポリープ画像に対するピクセルワイドアノテーションは、時間と費用の両方がかかる。
本稿では,スクリブル制御ポリプセグメンテーションのためのSAM誘導協調学習ネットワーク(SAM-CLNet)を提案する。
論文 参考訳(メタデータ) (2023-12-01T03:07:13Z) - AutoSAM: Adapting SAM to Medical Images by Overloading the Prompt
Encoder [101.28268762305916]
この作業では、Segment Anything Modelを同じ入力イメージで動作するエンコーダに置き換える。
複数の医用画像とビデオのベンチマークで最先端の結果を得る。
内部の知識を検査し、軽量なセグメンテーションソリューションを提供するために、浅いデコンボリューションネットワークによってマスクに復号化することを学ぶ。
論文 参考訳(メタデータ) (2023-06-10T07:27:00Z) - Learnable Ophthalmology SAM [7.179656139331778]
眼科マルチモーダル画像における複数のターゲットセグメンテーションに適した学習可能なプロンプト層を提案する。
学習可能なプロンプト層は、各トランス層から医学的事前知識を学習する。
本研究では,9つの公開データセットに基づく4つの医学的セグメンテーションタスクに基づく思考の有効性を実証する。
論文 参考訳(メタデータ) (2023-04-26T10:14:03Z) - Medical SAM Adapter: Adapting Segment Anything Model for Medical Image
Segmentation [51.770805270588625]
Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。
近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。
ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
論文 参考訳(メタデータ) (2023-04-25T07:34:22Z) - Self-Supervised Correction Learning for Semi-Supervised Biomedical Image
Segmentation [84.58210297703714]
半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。
共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。
異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
論文 参考訳(メタデータ) (2023-01-12T08:19:46Z) - A Deep Learning Approach for the Segmentation of Electroencephalography
Data in Eye Tracking Applications [56.458448869572294]
脳波データの時系列セグメンテーションのための新しいフレームワークDETRtimeを紹介する。
エンドツーエンドのディープラーニングベースのフレームワークは、コンピュータビジョンの進歩を前面に立たせています。
我々のモデルは脳波睡眠ステージセグメンテーションのタスクにおいてよく一般化される。
論文 参考訳(メタデータ) (2022-06-17T10:17:24Z) - FUN-SIS: a Fully UNsupervised approach for Surgical Instrument
Segmentation [16.881624842773604]
FUN-SISについて述べる。
我々は、暗黙の動作情報と楽器形状に依存して、完全に装飾されていない内視鏡ビデオに基づいてフレーム単位のセグメンテーションモデルを訓練する。
手術器具のセグメンテーションの完全教師なしの結果は, 完全に監督された最先端のアプローチとほぼ同等である。
論文 参考訳(メタデータ) (2022-02-16T15:32:02Z) - Leveraging Human Selective Attention for Medical Image Analysis with
Limited Training Data [72.1187887376849]
選択的な注意機構は、注意散らしの存在を無視することで、認知システムがタスク関連視覚的手がかりに焦点を合わせるのに役立つ。
本稿では,医療画像解析タスクにおいて,小さなトレーニングデータを用いたガベージを利用したフレームワークを提案する。
本手法は腫瘍の3次元分割と2次元胸部X線分類において優れた性能を示す。
論文 参考訳(メタデータ) (2021-12-02T07:55:25Z) - Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical
Procedures [70.69948035469467]
カメラビューから3Dグラフを生成するための最新のコンピュータビジョン手法を利用する。
次に,手術手順の象徴的,意味的表現を統一することを目的としたマルチモーダルセマンティックグラフシーン(MSSG)を紹介する。
論文 参考訳(メタデータ) (2021-06-09T14:35:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。