論文の概要: Completing Visual Objects via Bridging Generation and Segmentation

• arxiv url: http://arxiv.org/abs/2310.00808v2
• Date: Fri, 2 Feb 2024 07:14:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 19:56:06.204892
• Title: Completing Visual Objects via Bridging Generation and Segmentation
• Title（参考訳）: ブリッジ生成とセグメンテーションによる視覚オブジェクトの完成
• Authors: Xiang Li, Yinpeng Chen, Chung-Ching Lin, Hao Chen, Kai Hu, Rita Singh, Bhiksha Raj, Lijuan Wang, Zicheng Liu
• Abstract要約: MaskCompは、生成とセグメンテーションの反復的な段階を通して完了プロセスを記述する。 各イテレーションにおいて、オブジェクトマスクは、画像生成を促進する追加条件として提供される。 我々は,1世代と1つのセグメンテーション段階の組み合わせがマスマスデノイザーとして効果的に機能することを実証した。
• 参考スコア（独自算出の注目度）: 84.4552458720467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel approach to object completion, with the primary goal of reconstructing a complete object from its partially visible components. Our method, named MaskComp, delineates the completion process through iterative stages of generation and segmentation. In each iteration, the object mask is provided as an additional condition to boost image generation, and, in return, the generated images can lead to a more accurate mask by fusing the segmentation of images. We demonstrate that the combination of one generation and one segmentation stage effectively functions as a mask denoiser. Through alternation between the generation and segmentation stages, the partial object mask is progressively refined, providing precise shape guidance and yielding superior object completion results. Our experiments demonstrate the superiority of MaskComp over existing approaches, e.g., ControlNet and Stable Diffusion, establishing it as an effective solution for object completion.
• Abstract（参考訳）: 本稿では,その部分的可視成分から完全な物体を再構築することを目的とした,新しい物体完成手法を提案する。 maskcompと呼ばれるこの手法は、生成とセグメンテーションの反復的な段階を通じて完了プロセスを記述します。 各イテレーションにおいて、オブジェクトマスクは画像生成を促進する追加条件として提供され、その代わり、生成された画像は画像のセグメンテーションを融合させてより正確なマスクに導かれる。 1世代と1つのセグメンテーションステージの組み合わせがマスクデノイザーとして効果的に機能することを示す。 生成段階とセグメンテーション段階の交互化により、部分物体マスクは徐々に洗練され、正確な形状誘導を提供し、優れた物体完成結果が得られる。 我々の実験は、既存のアプローチであるControlNetやStable DiffusionよりもMaskCompの方が優れていることを実証し、オブジェクト補完に有効なソリューションとして確立した。

関連論文リスト

• Variance-insensitive and Target-preserving Mask Refinement for Interactive Image Segmentation [68.16510297109872]
  ポイントベースのインタラクティブなイメージセグメンテーションは、セマンティックセグメンテーションや画像編集といったアプリケーションにおけるマスクアノテーションの負担を軽減することができる。 本稿では,ユーザ入力の少ないセグメンテーション品質を向上する新しい手法である可変無感・ターゲット保存マスクリファインメントを提案する。 GrabCut、バークレー、SBD、DAVISデータセットの実験は、インタラクティブな画像セグメンテーションにおける我々の手法の最先端性能を実証している。
  論文  参考訳（メタデータ） (2023-12-22T02:31:31Z)
• PaintSeg: Training-free Segmentation via Painting [50.17936803209125]
  PaintSegは、トレーニングなしでオブジェクトをセグメンテーションするための新しい教師なしのメソッドである。 前者は前景をマスキングして背景を埋め、後者は前景の欠落部分を回復しながら背景をマスキングする。 実験の結果、PaintSegは、粗いマスクプロンプト、ボックスプロンプト、ポイントプロンプトセグメンテーションタスクにおいて、既存のアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-30T20:43:42Z)
• MMNet: Multi-Mask Network for Referring Image Segmentation [6.462622145673872]
  画像セグメンテーション(MMNet)のためのエンドツーエンドマルチマスクネットワークを提案する。 まず、画像と言語を組み合わせて、言語表現の異なる側面を表す複数のクエリを生成する。 最終的な結果は、すべてのマスクの重み付け和によって得られ、言語表現のランダム性を大幅に減少させる。
  論文  参考訳（メタデータ） (2023-05-24T10:02:27Z)
• MaskSketch: Unpaired Structure-guided Masked Image Generation [56.88038469743742]
  MaskSketchは、サンプリング中の余分な条件信号としてガイドスケッチを使用して生成結果の空間的条件付けを可能にする画像生成方法である。 マスク付き生成変換器の中間自己アテンションマップが入力画像の重要な構造情報を符号化していることを示す。 以上の結果から,MaskSketchは誘導構造に対する高画像リアリズムと忠実性を実現する。
  論文  参考訳（メタデータ） (2023-02-10T20:27:02Z)
• Discovering Object Masks with Transformers for Unsupervised Semantic Segmentation [75.00151934315967]
  MaskDistillは教師なしセマンティックセグメンテーションのための新しいフレームワークである。 我々のフレームワークは、低レベルの画像キューにラッチを付けず、オブジェクト中心のデータセットに限らない。
  論文  参考訳（メタデータ） (2022-06-13T17:59:43Z)
• GANSeg: Learning to Segment by Unsupervised Hierarchical Image Generation [16.900404701997502]
  本稿では,潜伏マスクに条件付き画像を生成するGANベースのアプローチを提案する。 このようなマスク条件の画像生成は、マスクを階層的に条件付ける際に忠実に学習できることを示す。 また、セグメンテーションネットワークをトレーニングするためのイメージマスクペアの生成も可能で、既存のベンチマークでは、最先端の教師なしセグメンテーションメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-12-02T07:57:56Z)
• BoundarySqueeze: Image Segmentation as Boundary Squeezing [104.43159799559464]
  本研究では,オブジェクトとシーンの微細な高画質画像分割のための新しい手法を提案する。 形態素画像処理技術による拡張と浸食に着想を得て,画素レベルのセグメンテーション問題をスクイーズ対象境界として扱う。 提案手法は,COCO,Cityscapesのインスタンス・セグメンテーション・セグメンテーション・セグメンテーションにおいて大きく向上し,同一条件下での精度・速度ともに従来のPointRendよりも優れていた。
  論文  参考訳（メタデータ） (2021-05-25T04:58:51Z)
• Proposal-Free Volumetric Instance Segmentation from Latent Single-Instance Masks [16.217524435617744]
  この研究は、新しいプロポーザルフリーなインスタンスセグメンテーション手法を導入している。 画像全体で予測されるシングルインスタンスセグメンテーションマスクをスライディングウィンドウスタイルで構築する。 関連するアプローチとは対照的に,本手法では,各画素毎に1つのマスクを同時に予測し,画像全体のコンフリクトを解消する。
  論文  参考訳（メタデータ） (2020-09-10T17:09:23Z)
• Revisiting Sequence-to-Sequence Video Object Segmentation with Multi-Task Loss and Skip-Memory [4.343892430915579]
  ビデオオブジェクト(VOS)は、視覚領域の活発な研究領域である。 現行のアプローチでは、特にオブジェクトが小さく、あるいは一時的に隠された場合、長いシーケンスでオブジェクトを失う。 我々は,エンコーダ・デコーダアーキテクチャとメモリモジュールを組み合わせたシーケンス・ツー・シーケンス・アプローチを構築し,シーケンシャルデータを活用する。
  論文  参考訳（メタデータ） (2020-04-25T15:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。