論文の概要: Zero-Shot Segmentation of Eye Features Using the Segment Anything Model
(SAM)
- arxiv url: http://arxiv.org/abs/2311.08077v1
- Date: Tue, 14 Nov 2023 11:05:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 14:25:33.370419
- Title: Zero-Shot Segmentation of Eye Features Using the Segment Anything Model
(SAM)
- Title(参考訳): Segment Anything Model (SAM) を用いた眼特徴のゼロショットセグメンテーション
- Authors: Virmarie Maquiling, Sean Anthony Byrne, Diederick C. Niehorster,
Marcus Nystr\"om, Enkelejda Kasneci
- Abstract要約: Segment Anything Model (SAM)は、画像セグメンテーションのための最初の基礎モデルである。
本研究では,VR機器で記録された視線画像から特徴を分割するSAMの能力を評価する。
我々の調査はSAMのゼロショット学習能力と、バウンディングボックスやポイントクリックのようなプロンプトの有効性に焦点を当てている。
- 参考スコア(独自算出の注目度): 9.150553995510217
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The advent of foundation models signals a new era in artificial intelligence.
The Segment Anything Model (SAM) is the first foundation model for image
segmentation. In this study, we evaluate SAM's ability to segment features from
eye images recorded in virtual reality setups. The increasing requirement for
annotated eye-image datasets presents a significant opportunity for SAM to
redefine the landscape of data annotation in gaze estimation. Our investigation
centers on SAM's zero-shot learning abilities and the effectiveness of prompts
like bounding boxes or point clicks. Our results are consistent with studies in
other domains, demonstrating that SAM's segmentation effectiveness can be
on-par with specialized models depending on the feature, with prompts improving
its performance, evidenced by an IoU of 93.34% for pupil segmentation in one
dataset. Foundation models like SAM could revolutionize gaze estimation by
enabling quick and easy image segmentation, reducing reliance on specialized
models and extensive manual annotation.
- Abstract(参考訳): 基盤モデルの出現は、人工知能の新しい時代を意味する。
Segment Anything Model (SAM)は、画像セグメンテーションのための最初の基礎モデルである。
本研究では,VR機器で記録された視線画像から特徴を分割するSAMの能力を評価する。
注釈付きアイイメージデータセットの要求が増大すると、SAMは視線推定におけるデータアノテーションの景観を再定義する大きな機会となる。
我々の調査はSAMのゼロショット学習能力と、バウンディングボックスやポイントクリックのようなプロンプトの有効性に焦点を当てている。
我々の結果は他の領域の研究と一致しており、SAMのセグメンテーションの有効性は特徴によって特殊モデルと同等であり、その性能は1つのデータセットにおける瞳孔セグメンテーションの93.34%のIoUによって証明されている。
samのような基礎モデルは、素早く簡単に画像のセグメンテーションを可能にし、専門モデルへの依存を減らすことで視線推定に革命をもたらす可能性がある。
関連論文リスト
- Grounded SAM: Assembling Open-World Models for Diverse Visual Tasks [47.646824158039664]
オープンセットオブジェクト検出器として Grounding DINO を用いて,セグメントアプライスモデル(SAM)と組み合わせた Grounded SAM を紹介する。
この統合により任意のテキスト入力に基づいて任意の領域の検出とセグメンテーションが可能になる。
論文 参考訳(メタデータ) (2024-01-25T13:12:09Z) - Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes
Interactively [74.14385081185459]
Open-Vocabulary SAMはSAMにインスパイアされたモデルであり、対話的なセグメンテーションと認識のために設計されている。
約22,000のクラスを分類・認識できる。
論文 参考訳(メタデータ) (2024-01-05T18:59:22Z) - Promoting Segment Anything Model towards Highly Accurate Dichotomous
Image Segmentation [13.531166759820856]
SAM(Segment Anything Model)は,コンピュータビジョンにおける基礎モデルの開発を著しく進めている。
我々は,単純なプロンプトボックスでSAMを入力し,SAMが出力した結果をIS5Netの入力として活用することにより,高精度な2コトコス画像分割の有効性を大幅に向上できることを示す。
論文 参考訳(メタデータ) (2023-12-30T14:24:33Z) - Boosting Segment Anything Model Towards Open-Vocabulary Learning [69.42565443181017]
Segment Anything Model (SAM)は、新しいパラダイムビジョン基盤モデルとして登場した。
SAMは様々な領域で応用や適応を発見できるが、その主な制限はオブジェクトの意味を把握できないことである。
我々は,SAMとオープン語彙オブジェクト検出器をエンドツーエンドフレームワークでシームレスに統合するSamborを提案する。
論文 参考訳(メタデータ) (2023-12-06T17:19:00Z) - Improving the Generalization of Segmentation Foundation Model under
Distribution Shift via Weakly Supervised Adaptation [47.804446629216656]
本稿では,アンカー正規化と低ランク微調整を併用した弱教師付き自己学習アーキテクチャを提案する。
本研究では, 自然浄化・破損画像, 医用画像, カモフラージュ画像, ロボット画像など, 5種類の下流セグメンテーションタスクの有効性を検証した。
論文 参考訳(メタデータ) (2023-12-06T13:59:22Z) - Self-guided Few-shot Semantic Segmentation for Remote Sensing Imagery
Based on Large Vision Models [14.292149307183967]
本研究は,少数ショットセマンティックセグメンテーションの自動化を目的とした構造化フレームワークを提案する。
SAMモデルを利用して、意味的に識別可能なセグメンテーションの結果をより効率的に生成する。
提案手法の中心は,従来のガイドマスクを利用してSAMの粗い画素単位のプロンプトを生成する,新しい自動プロンプト学習手法である。
論文 参考訳(メタデータ) (2023-11-22T07:07:55Z) - nnSAM: Plug-and-play Segment Anything Model Improves nnUNet Performance [13.056321925093792]
本稿では SAM モデルと nnUNet モデルを統合し,より正確で堅牢な医用画像分割を実現する nnSAM を提案する。
nnSAMは、医療画像セグメンテーションの潜在的な新しいベンチマークとして、幅広い適用性と特殊な効率性を組み合わせたツールを提供している。
論文 参考訳(メタデータ) (2023-09-29T04:26:25Z) - Semantic-SAM: Segment and Recognize Anything at Any Granularity [83.64686655044765]
本稿では,任意の粒度でセグメンテーションと認識を可能にする汎用画像セグメンテーションモデルであるSemantic-SAMを紹介する。
複数のデータセットを3つの粒度に集約し、オブジェクトとパーツの分離した分類を導入する。
マルチグラニュラリティ機能を実現するために,各クリックで複数のレベルのマスクを生成できるマルチ選択学習方式を提案する。
論文 参考訳(メタデータ) (2023-07-10T17:59:40Z) - Personalize Segment Anything Model with One Shot [52.54453744941516]
我々は,Segment Anything Model (SAM) のためのトレーニング不要なパーソナライズ手法を提案する。
PerSAMは、参照マスクを持つ1つのイメージしか持たないため、最初にターゲットのコンセプトを以前のロケーションでローカライズする。
PerSAMは、ターゲット誘導された注意、ターゲットセマンティックなプロンプト、そしてカスケードされたポストリファインメントという3つのテクニックを通じて、他の画像やビデオにセグメントする。
論文 参考訳(メタデータ) (2023-05-04T17:59:36Z) - Segment anything, from space? [8.126645790463266]
SAM(Segment Anything Model)は、安価な入力プロンプトに基づいて、入力画像中のオブジェクトをセグメント化することができる。
SAMは通常、目標タスクで訓練された視覚モデルに似た、あるいは時として超えた認識精度を達成した。
SAMの性能が画像のオーバーヘッド問題にまで及んでいるかどうかを考察し、その開発に対するコミュニティの反応を導くのに役立てる。
論文 参考訳(メタデータ) (2023-04-25T17:14:36Z) - Input Augmentation with SAM: Boosting Medical Image Segmentation with
Segmentation Foundation Model [36.015065439244495]
Segment Anything Model (SAM) はコンピュータビジョンタスクのための汎用セグメンテーションのための大規模モデルである。
SAMは100万枚の画像と10億枚以上のマスクを使って訓練され、自然の風景画像に広範囲のオブジェクトのセグメンテーション結果を生成することができる。
本報告では,SAMは医用画像データに高品質なセグメンテーションを提供していないが,その生成マスク,特徴,安定性スコアは,より優れた医用画像セグメンテーションモデルの構築と訓練に有用であることを示す。
論文 参考訳(メタデータ) (2023-04-22T07:11:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。