論文の概要: From Pixels to Objects: A Hierarchical Approach for Part and Object Segmentation Using Local and Global Aggregation
- arxiv url: http://arxiv.org/abs/2409.01353v1
- Date: Mon, 2 Sep 2024 16:13:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 06:11:05.443886
- Title: From Pixels to Objects: A Hierarchical Approach for Part and Object Segmentation Using Local and Global Aggregation
- Title（参考訳）: ピクセルからオブジェクトへ:局所的および大域的アグリゲーションを用いた部分と対象のセグメンテーションのための階層的アプローチ
- Authors: Yunfei Xie, Cihang Xie, Alan Yuille, Jieru Mei,
- Abstract要約: 画像分割タスクのための階層型トランスフォーマーモデルを提案する。
我々のアプローチの核心は、個々のピクセルからスーパーピクセルへと体系的に進化するマルチレベル表現戦略である。
このアーキテクチャは、ローカルアグリゲーションとグローバルアグリゲーションという2つの重要なアグリゲーション戦略によって支えられている。
- 参考スコア（独自算出の注目度）: 24.51617545483278
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we introduce a hierarchical transformer-based model designed for sophisticated image segmentation tasks, effectively bridging the granularity of part segmentation with the comprehensive scope of object segmentation. At the heart of our approach is a multi-level representation strategy, which systematically advances from individual pixels to superpixels, and ultimately to cohesive group formations. This architecture is underpinned by two pivotal aggregation strategies: local aggregation and global aggregation. Local aggregation is employed to form superpixels, leveraging the inherent redundancy of the image data to produce segments closely aligned with specific parts of the object, guided by object-level supervision. In contrast, global aggregation interlinks these superpixels, organizing them into larger groups that correlate with entire objects and benefit from part-level supervision. This dual aggregation framework ensures a versatile adaptation to varying supervision inputs while maintaining computational efficiency. Our methodology notably improves the balance between adaptability across different supervision modalities and computational manageability, culminating in significant enhancement in segmentation performance. When tested on the PartImageNet dataset, our model achieves a substantial increase, outperforming the previous state-of-the-art by 2.8% and 0.8% in mIoU scores for part and object segmentation, respectively. Similarly, on the Pascal Part dataset, it records performance enhancements of 1.5% and 2.0% for part and object segmentation, respectively.
- Abstract（参考訳）: 本稿では,高精細画像分割作業のための階層型トランスフォーマーモデルを導入し,オブジェクト分割の包括的範囲で分割の粒度を効果的にブリッジする。
このアプローチの核心は多面的表現戦略であり、個々のピクセルからスーパーピクセルへ体系的に進行し、最終的には凝集性グループ形成へと発展する。
このアーキテクチャは、ローカルアグリゲーションとグローバルアグリゲーションという2つの重要なアグリゲーション戦略によって支えられている。
局所アグリゲーションはスーパーピクセルを形成するために使用され、画像データの固有の冗長性を利用してオブジェクトの特定の部分と密に整合したセグメントを生成し、オブジェクトレベルの監視によってガイドされる。
対照的に、グローバルアグリゲーションはこれらのスーパーピクセルをインターリンクし、それらを大きなグループに編成し、オブジェクト全体と相関し、部分レベルの監視の恩恵を受ける。
このデュアルアグリゲーションフレームワークは、計算効率を保ちながら、様々な監視入力への多彩な適応を保証する。
本手法は, 異なる監督モダリティ間の適応性と計算管理性のバランスを改善し, セグメンテーション性能の大幅な向上を図っている。
PartImageNetデータセットでテストすると,従来の状態よりも2.8%,mIoUスコアが0.8%,オブジェクトセグメンテーションが0.8%向上した。
同様に、Pascal Partデータセットでは、それぞれ1.5%と2.0%のパフォーマンス向上を記録している。
関連論文リスト
- Pixel-Level Clustering Network for Unsupervised Image Segmentation [3.69853388955692]
画像の領域分割のためのピクセルレベルのクラスタリングフレームワークを,地上の真理アノテーションを使わずに提案する。
また、各スーパーピクセル間の一貫性、隣接するスーパーピクセル間の相似性/相似性、画像間の構造的類似性を利用したトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2023-10-24T23:06:29Z) - Multi-interactive Feature Learning and a Full-time Multi-modality
Benchmark for Image Fusion and Segmentation [66.15246197473897]
多モード画像融合とセグメンテーションは、自律走行とロボット操作において重要な役割を果たす。
画像融合とtextbfSegmentation のための textbfMulti-textbfinteractive textbfFeature Learning アーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-08-04T01:03:58Z) - Compositor: Bottom-up Clustering and Compositing for Robust Part and
Object Segmentation [16.48046112716597]
関節部と物体のセグメンテーションに対する頑健なアプローチを提案する。
ボトムアップ方式で,画素,部分,オブジェクトレベルの埋め込みを含む階層的な特徴表現を構築した。
このボトムアップ相互作用は、より低いセマンティックレベルからより高いセマンティックレベルへの情報の統合に有効であることが示されている。
論文 参考訳（メタデータ） (2023-06-12T20:12:02Z) - Neural Constraint Satisfaction: Hierarchical Abstraction for
Combinatorial Generalization in Object Rearrangement [75.9289887536165]
基礎となるエンティティを明らかにするための階層的抽象化手法を提案する。
本研究では,エージェントのモデルにおける実体の状態の介入と,環境中の物体に作用する状態の対応関係を学習する方法を示す。
この対応を利用して、オブジェクトの異なる数や構成に一般化する制御法を開発する。
論文 参考訳（メタデータ） (2023-03-20T18:19:36Z) - Part-guided Relational Transformers for Fine-grained Visual Recognition [59.20531172172135]
識別的特徴を学習し,特徴変換モジュールとの相関関係を探索するフレームワークを提案する。
提案手法は,3-of-the-levelオブジェクト認識において,部分ブランチの追加に頼らず,最先端の性能に達する。
論文 参考訳（メタデータ） (2022-12-28T03:45:56Z) - DuAT: Dual-Aggregation Transformer Network for Medical Image
Segmentation [21.717520350930705]
トランスフォーマーベースのモデルはコンピュータビジョンタスクで成功することが広く実証されている。
しかし、それらはしばしば大きなパターンの特徴によって支配され、局所的な詳細が失われる。
本稿では、2つの革新的な設計を特徴とするDuATと呼ばれるDual-Aggregation Transformer Networkを提案する。
大腸内視鏡画像における皮膚病変像とポリープの分画における最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2022-12-21T07:54:02Z) - Framework-agnostic Semantically-aware Global Reasoning for Segmentation [29.69187816377079]
本稿では,画像特徴を潜在表現に投影し,それら間の関係を推論するコンポーネントを提案する。
我々の設計では、活性化領域が空間的に不整合であることを保証することにより、潜在領域が意味概念を表現することを奨励している。
潜在トークンはセマンティックに解釈可能で多様性があり、下流タスクに転送可能な豊富な機能セットを提供します。
論文 参考訳（メタデータ） (2022-12-06T21:42:05Z) - Scaling up Multi-domain Semantic Segmentation with Sentence Embeddings [81.09026586111811]
ゼロショット設定に適用した場合、最先端の教師付き性能を実現するセマンティックセマンティックセマンティクスへのアプローチを提案する。
これは各クラスラベルを、クラスを記述する短い段落のベクトル値の埋め込みに置き換えることによって達成される。
結果として得られた200万以上の画像の統合セマンティックセグメンテーションデータセットは、7つのベンチマークデータセット上の最先端の教師付きメソッドと同等のパフォーマンスを達成するモデルをトレーニングすることができる。
論文 参考訳（メタデータ） (2022-02-04T07:19:09Z) - CoADNet: Collaborative Aggregation-and-Distribution Networks for
Co-Salient Object Detection [91.91911418421086]
Co-Salient Object Detection (CoSOD)は、2つ以上の関連する画像を含む所定のクエリグループに繰り返し現れる健全なオブジェクトを発見することを目的としている。
課題の1つは、画像間の関係をモデリングし、活用することによって、コ・サリヤ・キューを効果的にキャプチャする方法である。
我々は,複数画像から有能かつ反復的な視覚パターンを捉えるために,エンドツーエンドの協調集約配信ネットワーク(CoADNet)を提案する。
論文 参考訳（メタデータ） (2020-11-10T04:28:11Z) - Visual Object Tracking by Segmentation with Graph Convolutional Network [7.729569666460712]
グラフ畳み込みネットワーク(GCN)モデルを用いて,スーパーピクセルベースのオブジェクトトラッキングを提案する。
提案モデルは,i)ラベル線形予測とi)各スーパーピクセルの構造認識特徴情報を統合した,汎用的なエンドツーエンドフレームワークを提供する。
論文 参考訳（メタデータ） (2020-09-05T12:43:21Z) - Improving Semantic Segmentation via Decoupled Body and Edge Supervision [89.57847958016981]
既存のセグメンテーションアプローチは、グローバルコンテキストをモデル化することでオブジェクトの内部の一貫性を改善すること、あるいはマルチスケールの特徴融合によって境界に沿ったオブジェクトの詳細を洗練することを目的としている。
本稿では,セマンティックセグメンテーションのための新しいパラダイムを提案する。
我々の洞察は、セマンティックセグメンテーションの魅力ある性能には、画像の高頻度と低頻度に対応するオブジェクトのテキストボディとテキストエッジを具体的にモデル化する必要があるということである。
さまざまなベースラインやバックボーンネットワークを備えた提案したフレームワークが,オブジェクト内部の一貫性とオブジェクト境界を向上させることを示す。
論文 参考訳（メタデータ） (2020-07-20T12:11:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。