論文の概要: Instance Segmentation of Scene Sketches Using Natural Image Priors

• arxiv url: http://arxiv.org/abs/2502.09608v1
• Date: Thu, 13 Feb 2025 18:56:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:44:39.515748
• Title: Instance Segmentation of Scene Sketches Using Natural Image Priors
• Title（参考訳）: 自然画像を用いたシーンケッチのインスタンスセグメンテーション
• Authors: Mia Tang, Yael Vinker, Chuan Yan, Lvmin Zhang, Maneesh Agrawala,
• Abstract要約: スケッチセグ(SketchSeg)は、シーンスケッチの例分割を行う手法である。 提案手法は,クラスに依存しない微調整を用いることで,最先端の画像セグメント化とオブジェクト検出モデルをスケッチ領域に適用する。 提案手法は,スケッチを分類層に整理し,隠蔽されたインスタンスを塗布し,高度なスケッチ編集アプリケーションを可能にする。
• 参考スコア（独自算出の注目度）: 30.518717641778753
• License:
• Abstract: Sketch segmentation involves grouping pixels within a sketch that belong to the same object or instance. It serves as a valuable tool for sketch editing tasks, such as moving, scaling, or removing specific components. While image segmentation models have demonstrated remarkable capabilities in recent years, sketches present unique challenges for these models due to their sparse nature and wide variation in styles. We introduce SketchSeg, a method for instance segmentation of raster scene sketches. Our approach adapts state-of-the-art image segmentation and object detection models to the sketch domain by employing class-agnostic fine-tuning and refining segmentation masks using depth cues. Furthermore, our method organizes sketches into sorted layers, where occluded instances are inpainted, enabling advanced sketch editing applications. As existing datasets in this domain lack variation in sketch styles, we construct a synthetic scene sketch segmentation dataset featuring sketches with diverse brush strokes and varying levels of detail. We use this dataset to demonstrate the robustness of our approach and will release it to promote further research in the field. Project webpage: https://sketchseg.github.io/sketch-seg/
• Abstract（参考訳）: スケッチセグメンテーションでは、同じオブジェクトやインスタンスに属するスケッチ内でピクセルをグループ化する。 特定のコンポーネントの移動、スケーリング、削除といったタスクをスケッチするための貴重なツールとして機能する。 近年,イメージセグメンテーションモデルは目覚ましい機能を示しているが,スケッチでは,その細かな性質やスタイルの変化から,これらのモデルに特有の課題が提示されている。 スケッチセグ(SketchSeg)は、ラスタシーンのスケッチを例に示す手法である。 本手法は,Deep cue を用いたクラス非依存の微調整・精細化マスクを用いて,最先端の画像分割モデルとオブジェクト検出モデルをスケッチ領域に適用する。 さらに,本手法はスケッチを分類層に整理し,隠蔽されたインスタンスをインペイントし,高度なスケッチ編集アプリケーションを実現する。 この領域の既存のデータセットにはスケッチスタイルのバリエーションがないため、さまざまなブラシストロークとさまざまな詳細レベルを備えたスケッチを含む合成シーンスケッチセグメンテーションデータセットを構築します。 このアプローチの堅牢性を実証するためにこのデータセットを使用し、この分野におけるさらなる研究を促進するためにリリースします。 プロジェクトWebページ: https://sketchseg.github.io/sketch-seg/

関連論文リスト

• Class-Agnostic Visio-Temporal Scene Sketch Semantic Segmentation [0.9208007322096532]
  スケッチ・ツー・イメージ検索やシーン理解など,さまざまなアプリケーションにおいて,シーンスケッチのセマンティックセマンティックセグメンテーションが重要な課題である。 既存のスケッチセグメンテーション手法はスケッチをビットマップ画像として扱い、ストローク間の時間的順序が失われる。 シーンスケッチセマンティックセマンティックセグメンテーションのためのCAVT(Class-Agnostic-Temporal Network)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T22:34:29Z)
• SketchTriplet: Self-Supervised Scenarized Sketch-Text-Image Triplet Generation [6.39528707908268]
  シーンスケッチ用の大規模なペアデータセットは引き続き欠如している。 本稿では,既存のシーンスケッチに依存しないシーンスケッチ生成のための自己教師型手法を提案する。 シーンスケッチを中心にした大規模なデータセットをコントリビュートし、セマンティックに一貫した「テキスト・スケッチ・イメージ」三つ子を含む。
  論文  参考訳（メタデータ） (2024-05-29T06:43:49Z)
• Sketch-based Video Object Segmentation: Benchmark and Analysis [55.79497833614397]
  本稿では,スケッチベースのビデオオブジェクトセグメンテーション,関連するベンチマーク,強力なベースラインについて紹介する。 私たちのベンチマークには、3つのデータセット、Sketch-DAVIS16、Sketch-DAVIS17、Sketch-YouTube-VOSが含まれています。 実験の結果、スケッチは、フォトマスク、言語、スクリブルなど、他の参照よりも効果的であるが、アノテーション効率が高いことが示された。
  論文  参考訳（メタデータ） (2023-11-13T11:53:49Z)
• SketchFFusion: Sketch-guided image editing with diffusion model [25.63913085329606]
  スケッチ誘導画像編集は、ユーザが提供するスケッチ情報に基づいて、画像の局所的な微調整を実現することを目的としている。 本稿では,画像の主輪郭を保存し,実際のスケッチスタイルに忠実に適合するスケッチ生成手法を提案する。
  論文  参考訳（メタデータ） (2023-04-06T15:54:18Z)
• Sketch2Saliency: Learning to Detect Salient Objects from Human Drawings [99.9788496281408]
  本研究では,スケッチを弱いラベルとして使用して,画像中の有能な物体を検出する方法について検討する。 これを実現するために,与えられた視覚写真に対応する逐次スケッチ座標を生成することを目的としたフォト・ツー・スケッチ生成モデルを提案する。 テストは、私たちの仮説を証明し、スケッチベースの唾液度検出モデルが、最先端技術と比較して、競争力のあるパフォーマンスを提供する方法を明確にします。
  論文  参考訳（メタデータ） (2023-03-20T23:46:46Z)
• Query-guided Attention in Vision Transformers for Localizing Objects Using a Single Sketch [17.63475613154152]
  オブジェクトの粗雑な手書きスケッチが与えられた場合、目標は、ターゲット画像上の同じオブジェクトのすべてのインスタンスをローカライズすることである。 この問題は、手描きスケッチの抽象的な性質、スケッチのスタイルや質のバリエーション、スケッチと自然画像の間に存在する大きな領域ギャップなどによって証明される。 本稿では,画像エンコーダの各ブロックにクロスアテンションを用いて,問合せ条件付き画像特徴を学習するスケッチ誘導型視覚トランスフォーマエンコーダを提案する。
  論文  参考訳（メタデータ） (2023-03-15T17:26:17Z)
• One Sketch for All: One-Shot Personalized Sketch Segmentation [84.45203849671003]
  そこで本研究では,最初のワンショットパーソナライズドスケッチセグメンテーション手法を提案する。 我々は、同じカテゴリに属するすべてのスケッチを、特定の部分アノテーション付きの1つのスケッチでセグメント化することを目指している。 私たちは、例に埋め込まれた部分のセマンティクスを保存し、入力スタイルと抽象化に堅牢です。
  論文  参考訳（メタデータ） (2021-12-20T20:10:44Z)
• SketchEdit: Mask-Free Local Image Manipulation with Partial Sketches [95.45728042499836]
  マスクレス局所画像操作という,スケッチに基づく画像操作の新しいパラダイムを提案する。 本モデルでは,対象の修正領域を自動的に予測し,構造型ベクトルにエンコードする。 ジェネレータは、スタイルベクトルとスケッチに基づいて、新しいイメージコンテンツを合成する。
  論文  参考訳（メタデータ） (2021-11-30T02:42:31Z)
• SketchDesc: Learning Local Sketch Descriptors for Multi-view Correspondence [68.63311821718416]
  我々はマルチビュースケッチ対応の問題について検討し、同じオブジェクトの異なるビューを持つ複数のフリーハンドスケッチを入力として扱う。 異なる視点における対応する点の視覚的特徴は、非常に異なる可能性があるため、この問題は困難である。 我々は、深層学習アプローチを採用し、データから新しいローカルスケッチ記述子を学習する。
  論文  参考訳（メタデータ） (2020-01-16T11:31:21Z)
• Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches [133.01690754567252]
  スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。 Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
  論文  参考訳（メタデータ） (2020-01-09T08:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。