論文の概要: OLAF: A Plug-and-Play Framework for Enhanced Multi-object Multi-part Scene Parsing

• arxiv url: http://arxiv.org/abs/2411.02858v1
• Date: Tue, 05 Nov 2024 07:02:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:59:46.371600
• Title: OLAF: A Plug-and-Play Framework for Enhanced Multi-object Multi-part Scene Parsing
• Title（参考訳）: OLAF: マルチオブジェクト・マルチパート・シーン・パースを強化するプラグイン・アンド・プレイフレームワーク
• Authors: Pranav Gupta, Rishubh Singh, Pradeep Shenoy, Ravikiran Sarvadevabhatla,
• Abstract要約: 多目的多部分シーンセグメンテーションは、複雑さが部分的な粒度とシーンオブジェクトの数とともに指数関数的にスケールする難題である。 この課題に対処するために,OLAFと呼ばれるプラグアンドプレイ方式を提案する。 本稿では, 正規(RGB)事前学習モデルを用いて, 最適化時に, 拡張(5チャネル)入力を安定的に処理できる重み適応手法を提案する。
• 参考スコア（独自算出の注目度）: 16.27814719064703
• License:
• Abstract: Multi-object multi-part scene segmentation is a challenging task whose complexity scales exponentially with part granularity and number of scene objects. To address the task, we propose a plug-and-play approach termed OLAF. First, we augment the input (RGB) with channels containing object-based structural cues (fg/bg mask, boundary edge mask). We propose a weight adaptation technique which enables regular (RGB) pre-trained models to process the augmented (5-channel) input in a stable manner during optimization. In addition, we introduce an encoder module termed LDF to provide low-level dense feature guidance. This assists segmentation, particularly for smaller parts. OLAF enables significant mIoU gains of $\mathbf{3.3}$ (Pascal-Parts-58), $\mathbf{3.5}$ (Pascal-Parts-108) over the SOTA model. On the most challenging variant (Pascal-Parts-201), the gain is $\mathbf{4.0}$. Experimentally, we show that OLAF's broad applicability enables gains across multiple architectures (CNN, U-Net, Transformer) and datasets. The code is available at olafseg.github.io
• Abstract（参考訳）: 多目的多部分シーンセグメンテーションは、複雑さが部分的な粒度とシーンオブジェクトの数とともに指数関数的にスケールする難題である。 そこで本研究では,OLAFと呼ばれるプラグアンドプレイ方式を提案する。 まず、入力(RGB)をオブジェクトベースの構造的キュー(fg/bgマスク、境界エッジマスク)を含むチャネルで拡張する。 本稿では, 正規(RGB)事前学習モデルを用いて, 最適化時に, 拡張(5チャネル)入力を安定的に処理できる重み適応手法を提案する。 また,LDFと呼ばれるエンコーダモジュールを導入し,低レベルの高密度特徴ガイダンスを提供する。 これは、特に小さな部分のセグメンテーションを支援する。 OLAFはSOTAモデルに対して$\mathbf{3.3}$ (Pascal-Parts-58),$\mathbf{3.5}$ (Pascal-Parts-108)のmIoUゲインを可能にする。 最も難しい変種(Pascal-Parts-201)では、利得は$\mathbf{4.0}$である。 実験的に、OLAFの広範な適用性は、複数のアーキテクチャ(CNN、U-Net、Transformer)とデータセット間の利得を可能にすることを示す。 コードはolafseg.github.ioで公開されている。

関連論文リスト

• View-Consistent Hierarchical 3D Segmentation Using Ultrametric Feature Fields [52.08335264414515]
  我々は3次元シーンを表すニューラル・レージアンス・フィールド(NeRF)内の新しい特徴場を学習する。 本手法は、ビュー一貫性の多粒性2Dセグメンテーションを入力とし、3D一貫性のセグメンテーションの階層構造を出力として生成する。 提案手法と,多視点画像と多粒性セグメンテーションを用いた合成データセットのベースラインの評価を行い,精度と視点整合性を向上したことを示す。
  論文  参考訳（メタデータ） (2024-05-30T04:14:58Z)
• 1st Place Solution for 5th LSVOS Challenge: Referring Video Object Segmentation [65.45702890457046]
  主要なRVOSモデルの強みを統合して、効果的なパラダイムを構築します。 マスクの整合性と品質を改善するために,2段階のマルチモデル融合戦略を提案する。 第5回大規模ビデオオブジェクトチャレンジ(ICCV 2023)トラック3位にランクインしたRef-Youtube-VOS検証セットで75.7%,テストセットで70%のJ&Fを達成した。
  論文  参考訳（メタデータ） (2024-01-01T04:24:48Z)
• Spectrum-guided Multi-granularity Referring Video Object Segmentation [56.95836951559529]
  現在の参照ビデオオブジェクトセグメンテーション(R-VOS)技術は、符号化された(低解像度)視覚言語特徴から条件付きカーネルを抽出し、デコードされた高解像度特徴をセグメンテーションする。 これは、セグメント化カーネルが前方の計算で知覚に苦慮する重要な特徴の漂流を引き起こす。 符号化された特徴に対して直接セグメント化を行い,マスクをさらに最適化するために視覚的詳細を利用するスペクトル誘導多粒度手法を提案する。
  論文  参考訳（メタデータ） (2023-07-25T14:35:25Z)
• PanDepth: Joint Panoptic Segmentation and Depth Completion [19.642115764441016]
  本稿では,RGB画像とスパース深度マップを用いたマルチタスクモデルを提案する。 本モデルでは,完全な深度マップの予測に成功し,各入力フレームに対してセマンティックセグメンテーション,インスタンスセグメンテーション,パノプティックセグメンテーションを行う。
  論文  参考訳（メタデータ） (2022-12-29T05:37:38Z)
• Multi-scale Feature Aggregation for Crowd Counting [84.45773306711747]
  マルチスケール特徴集約ネットワーク(MSFANet)を提案する。 MSFANetは、ショートアグリゲーション(ShortAgg)とスキップアグリゲーション(SkipAgg)の2つの機能アグリゲーションモジュールで構成されている。
  論文  参考訳（メタデータ） (2022-08-10T10:23:12Z)
• S$^2$-FPN: Scale-ware Strip Attention Guided Feature Pyramid Network for Real-time Semantic Segmentation [6.744210626403423]
  本稿では,リアルタイム道路シーンセマンティックセグメンテーションにおける精度/速度のトレードオフを実現するための新しいモデルを提案する。 具体的には、スケール対応ストリップ注意誘導特徴ピラミッドネットワーク(S$2-FPN)という軽量モデルを提案する。 我々のネットワークは,アテンションピラミッドフュージョン(APF)モジュール,スケール対応ストリップアテンションモジュール(SSAM)モジュール,グローバルフィーチャーアップサンプル(GFU)モジュールの3つの主要モジュールで構成されている。
  論文  参考訳（メタデータ） (2022-06-15T05:02:49Z)
• PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
  近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。 最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
  論文  参考訳（メタデータ） (2021-09-15T01:10:30Z)
• Multi-Source Fusion and Automatic Predictor Selection for Zero-Shot Video Object Segmentation [86.94578023985677]
  ゼロショットビデオオブジェクトセグメンテーションのための新しいマルチソースフュージョンネットワークを提案する。 提案手法は,最先端技術に対する魅力的な性能を実現する。
  論文  参考訳（メタデータ） (2021-08-11T07:37:44Z)
• Learning light field synthesis with Multi-Plane Images: scene encoding as a recurrent segmentation task [30.058283056074426]
  本稿では、入力ビューのスパースセットを多面画像(MPI)に変換することで、大規模なベースライン光場からのビュー合成の問題に対処する。 利用可能なデータセットは少ないため、広範なトレーニングを必要としない軽量ネットワークを提案する。 我々のモデルは、RGB層を推定することを学ぶのではなく、MPIアルファ層内のシーン幾何学を符号化するだけであり、それはセグメンテーションタスクに帰着する。
  論文  参考訳（メタデータ） (2020-02-12T14:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。