論文の概要: Rethinking Interactive Image Segmentation with Low Latency, High Quality, and Diverse Prompts

• arxiv url: http://arxiv.org/abs/2404.00741v1
• Date: Sun, 31 Mar 2024 17:02:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 02:01:09.002605
• Title: Rethinking Interactive Image Segmentation with Low Latency, High Quality, and Diverse Prompts
• Title（参考訳）: 低レイテンシ, 高品質, ディヴァースプロンプトによるインタラクティブ画像分割の再考
• Authors: Qin Liu, Jaemin Cho, Mohit Bansal, Marc Niethammer,
• Abstract要約: 多様なプロンプトを持つ低レイテンシで高品質な対話的セグメンテーションは、スペシャリストやジェネラリストモデルでは難しい。 我々は、低レイテンシ、高品質、多様なプロンプトサポートを提供する次世代インタラクティブセグメンテーションアプローチであるSegNextを提案する。 本手法は,HQSeg-44KとDAVISにおいて,定量的かつ定性的に,最先端の手法より優れている。
• 参考スコア（独自算出の注目度）: 68.86537322287474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of interactive image segmentation is to delineate specific regions within an image via visual or language prompts. Low-latency and high-quality interactive segmentation with diverse prompts remain challenging for existing specialist and generalist models. Specialist models, with their limited prompts and task-specific designs, experience high latency because the image must be recomputed every time the prompt is updated, due to the joint encoding of image and visual prompts. Generalist models, exemplified by the Segment Anything Model (SAM), have recently excelled in prompt diversity and efficiency, lifting image segmentation to the foundation model era. However, for high-quality segmentations, SAM still lags behind state-of-the-art specialist models despite SAM being trained with x100 more segmentation masks. In this work, we delve deep into the architectural differences between the two types of models. We observe that dense representation and fusion of visual prompts are the key design choices contributing to the high segmentation quality of specialist models. In light of this, we reintroduce this dense design into the generalist models, to facilitate the development of generalist models with high segmentation quality. To densely represent diverse visual prompts, we propose to use a dense map to capture five types: clicks, boxes, polygons, scribbles, and masks. Thus, we propose SegNext, a next-generation interactive segmentation approach offering low latency, high quality, and diverse prompt support. Our method outperforms current state-of-the-art methods on HQSeg-44K and DAVIS, both quantitatively and qualitatively.
• Abstract（参考訳）: インタラクティブなイメージセグメンテーションの目標は、視覚的または言語的プロンプトを通じて、画像内の特定の領域を記述することである。 多様なプロンプトを持つ低レイテンシで高品質な対話的セグメンテーションは、既存のスペシャリストやジェネラリストモデルでは依然として困難である。 限定的なプロンプトとタスク固有の設計を持つスペシャリストモデルは、画像と視覚的プロンプトの共同符号化のため、プロンプトが更新されるたびにイメージを再コンパイルする必要があるため、レイテンシが高い。 SAM(Segment Anything Model)によって実証されたジェネラリストモデルは、最近、多様性と効率の迅速な向上と、基礎モデル時代へのイメージセグメンテーションの引き上げに成功している。 しかし、高品質なセグメンテーションでは、SAMはx100以上のセグメンテーションマスクで訓練されているにもかかわらず、最先端のスペシャリストモデルより遅れている。 本研究では,2種類のモデル間のアーキテクチャ的差異を深く掘り下げる。 視覚的プロンプトの密接な表現と融合が、スペシャリストモデルの高いセグメンテーション品質に寄与する重要な設計選択であることを観察する。 これを踏まえ、我々はこの密集した設計をジェネラリストモデルに再導入し、高いセグメンテーション品質を持つジェネラリストモデルの開発を容易にする。 多様な視覚的プロンプトを密に表現するために,クリック,ボックス,ポリゴン,スクリブル,マスクの5つのタイプを高密度マップで捉えることを提案する。 そこで我々は,低レイテンシ,高品質,多様なプロンプトをサポートする次世代インタラクティブセグメンテーション手法であるSegNextを提案する。 本手法は,HQSeg-44KとDAVISにおいて,定量的かつ定性的に,最先端の手法よりも優れている。

関連論文リスト

• Few-Shot Medical Image Segmentation with High-Fidelity Prototypes [38.073371773707514]
  本稿では,オブジェクトフォアグラウンドと背景を包括的に表現する高忠実度プロトタイプを構築するための,DSPNet(Detail Self-Refined Prototype Network)を提案する。 得られた詳細セマンティクスを維持しつつグローバルなセマンティクスを構築するために,マルチモーダル構造をクラスタリングでモデル化し,それぞれをチャネル的に融合させることにより,前景のプロトタイプを学習する。
  論文  参考訳（メタデータ） (2024-06-26T05:06:14Z)
• VIP: Versatile Image Outpainting Empowered by Multimodal Large Language Model [76.02314305164595]
  本研究は,ユーザの要求に応じて結果のカスタマイズが可能な,新たな画像出力フレームワークを提案する。 画像のマスキング部分とマスキング部分のテキスト記述を自動的に抽出し整理するマルチモーダル大言語モデル(MLLM)を利用する。 さらに、画像の特定の空間領域とテキストプロンプトの対応する部分との相互作用を強化するために、特別にCentral-Total-Surrounding (CTS) と呼ばれるCentral-Attentionモジュールが精巧に設計されている。
  論文  参考訳（メタデータ） (2024-06-03T07:14:19Z)
• IFSENet : Harnessing Sparse Iterations for Interactive Few-shot Segmentation Excellence [2.822194296769473]
  新しいクラスのセグメンテーションを学ぶために必要な画像の数を減らします。 インタラクティブなセグメンテーション技術は、一度に1つのオブジェクトのセグメンテーションを漸進的に改善することのみに焦点を当てます。 2つの概念を組み合わせることで、新しいクラスのセグメンテーションモデルをトレーニングするのに要する労力を大幅に削減する。
  論文  参考訳（メタデータ） (2024-03-22T10:15:53Z)
• Generalizable Entity Grounding via Assistance of Large Language Model [77.07759442298666]
  本稿では,長いキャプションから密接な視覚的実体を抽出する手法を提案する。 本研究では,意味代名詞の抽出に大規模なマルチモーダルモデル,エンティティレベルのセグメンテーションを生成するクラス-aセグメンテーションモデル,および各セグメンテーション名詞と対応するセグメンテーションマスクを関連付けるマルチモーダル特徴融合モジュールを利用する。
  論文  参考訳（メタデータ） (2024-02-04T16:06:05Z)
• A Simple and Robust Framework for Cross-Modality Medical Image Segmentation applied to Vision Transformers [0.0]
  単一条件モデルを用いて複数モードの公平な画像分割を実現するための簡単なフレームワークを提案する。 本研究の枠組みは,マルチモーダル全心条件課題において,他のモダリティセグメンテーション手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-09T09:51:44Z)
• Self-Prompting Large Vision Models for Few-Shot Medical Image Segmentation [14.135249795318591]
  本稿では,医療ビジョン応用における自己プロンプトの新たな視点を提案する。 我々は、Segment Anything Modelの埋め込み空間を利用して、単純だが効果的な線形ピクセルワイド分類器を通して自身を誘導する。 複数のデータセットで競合する結果を得る。
  論文  参考訳（メタデータ） (2023-08-15T08:20:07Z)
• Segment Everything Everywhere All at Once [124.90835636901096]
  画像中のすべてのものを同時にセグメント化するための,迅速かつインタラクティブなモデルであるSEEMを提案する。 そこで本研究では,あらゆるタイプのセグメンテーションタスクに対して,多様なプロンプトを可能にする新しい復号化機構を提案する。 多様なセグメンテーションタスクにおけるSEEMの有効性を検証するための総合的な実証的研究を行った。
  論文  参考訳（メタデータ） (2023-04-13T17:59:40Z)
• Revisiting Temporal Modeling for CLIP-based Image-to-Video Knowledge Transferring [82.84513669453744]
  画像テキスト事前訓練モデル(例えばCLIP)は、大規模な画像テキストデータペアから学んだ、印象的な汎用マルチモーダル知識を示している。 画像間知識伝達の文脈における時間的モデリングを再考する。 本稿では,CLIPモデルを多様なビデオタスクに拡張する簡易かつ効果的な時間的モデリング機構を提案する。
  論文  参考訳（メタデータ） (2023-01-26T14:12:02Z)
• Prototype Mixture Models for Few-shot Semantic Segmentation [50.866870384596446]
  サポートやクエリ画像内のオブジェクトが外観やポーズで大きく異なる可能性があるため、ショットのセグメンテーションは難しい。 プロトタイプベースセマンティック表現を強制するために,多種多様な画像領域と複数のプロトタイプとの相関関係を持つプロトタイプ混合モデル(PMMs)を提案する。 PMMはMS-COCOの5ショットセグメンテーション性能を最大5.82%改善し、モデルサイズと推論速度の適度なコストに留まった。
  論文  参考訳（メタデータ） (2020-08-10T04:33:17Z)
• Evolution of Image Segmentation using Deep Convolutional Neural Network: A Survey [0.0]
  我々はCNNに基づくセマンティックとインスタンスセグメンテーションの両方の進化を垣間見る。 我々は、最先端のパン光学セグメンテーションモデルを垣間見せた。
  論文  参考訳（メタデータ） (2020-01-13T06:07:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。