論文の概要: LPOSS: Label Propagation Over Patches and Pixels for Open-vocabulary Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2503.19777v1
• Date: Tue, 25 Mar 2025 15:47:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:51:09.502248
• Title: LPOSS: Label Propagation Over Patches and Pixels for Open-vocabulary Semantic Segmentation
• Title（参考訳）: LPOSS: オープンボキャブラリセマンティックセマンティックセグメンテーションのためのパッチとピクセルのラベル伝搬
• Authors: Vladan Stojnić, Yannis Kalantidis, Jiří Matas, Giorgos Tolias,
• Abstract要約: 視覚・言語モデル(VLM)を用いたセマンティックセグメンテーションのためのトレーニング不要手法を提案する。 提案手法はラベル伝搬によるVLMのパッチごとの予測を高速化する。 我々の手法はLPOSS+と呼ばれ、ウィンドウベースの処理を回避し、画像全体にわたって推論を行う。
• 参考スコア（独自算出の注目度）: 16.021683473678515
• License:
• Abstract: We propose a training-free method for open-vocabulary semantic segmentation using Vision-and-Language Models (VLMs). Our approach enhances the initial per-patch predictions of VLMs through label propagation, which jointly optimizes predictions by incorporating patch-to-patch relationships. Since VLMs are primarily optimized for cross-modal alignment and not for intra-modal similarity, we use a Vision Model (VM) that is observed to better capture these relationships. We address resolution limitations inherent to patch-based encoders by applying label propagation at the pixel level as a refinement step, significantly improving segmentation accuracy near class boundaries. Our method, called LPOSS+, performs inference over the entire image, avoiding window-based processing and thereby capturing contextual interactions across the full image. LPOSS+ achieves state-of-the-art performance among training-free methods, across a diverse set of datasets. Code: https://github.com/vladan-stojnic/LPOSS
• Abstract（参考訳）: 視覚・言語モデル(VLM)を用いたオープン語彙セマンティックセマンティックセマンティクスの学習自由化手法を提案する。 提案手法は,ラベル伝搬によるVLMの初期パッチごとの予測を向上し,パッチ・ツー・パッチ関係を組み込むことで,共同で予測を最適化する。 VLMは、主にモード間のアライメントに最適化されており、モーダル内類似性に最適化されていないため、これらの関係をよりよく捉えるために観察されるビジョンモデル(VM)を用いる。 画素レベルでのラベル伝搬を改良ステップとして適用することにより,パッチベースのエンコーダに固有の解像度制限に対処し,クラス境界付近のセグメンテーション精度を大幅に向上する。 我々の手法はLPOSS+と呼ばれ、ウィンドウベースの処理を回避し、全画像のコンテキスト相互作用をキャプチャする。 LPOSS+は、トレーニング不要なメソッド間で、さまざまなデータセットセット間で、最先端のパフォーマンスを達成する。 コード:https://github.com/vladan-stojnic/LPOSS

関連論文リスト

• Incorporating Feature Pyramid Tokenization and Open Vocabulary Semantic Segmentation [8.659766913542938]
  我々は、すべての粒度の理解のために、統合された知覚的および意味的トークン圧縮について研究する。 本稿では,学習可能なコードブックによる多面的特徴のクラスタ化と多面的特徴の表現を目的とした特徴ピラミッドトークン化(PAT)を提案する。 実験の結果,PATはVLM特徴ピラミッドの意味的直感を増強することがわかった。
  論文  参考訳（メタデータ） (2024-12-18T18:43:21Z)
• OpenDAS: Open-Vocabulary Domain Adaptation for 2D and 3D Segmentation [54.98688607911399]
  視覚言語モデル(VLM)にドメイン固有の知識を注入するオープン語彙ドメイン適応の課題を提案する。 既存のVLM適応手法では、ベース(トレーニング)クエリのパフォーマンスが向上するが、新しいクエリ上でのVLMのオープンセット能力を維持できない。 我々のアプローチは、新しいクラスにおける元のVLMを一貫して上回るパラメータ効率の手法である。
  論文  参考訳（メタデータ） (2024-05-30T15:16:06Z)
• Spatio-Temporal Side Tuning Pre-trained Foundation Models for Video-based Pedestrian Attribute Recognition [58.79807861739438]
  既存の歩行者認識アルゴリズム(PAR)は主に静的画像に基づいて開発されている。 本稿では,時間的情報を完全に活用できるビデオフレームを用いて,人間の属性を理解することを提案する。
  論文  参考訳（メタデータ） (2024-04-27T14:43:32Z)
• Pedestrian Attribute Recognition via CLIP based Prompt Vision-Language Fusion [23.62010759076202]
  我々は、PARを視覚言語融合問題として定式化し、歩行者画像と属性ラベルの関係を完全に活用する。 提案するPARアルゴリズムは, 微調整手法と比較して0.75%しか学習可能なパラメータを調整できない。
  論文  参考訳（メタデータ） (2023-12-17T11:59:14Z)
• Emergent Open-Vocabulary Semantic Segmentation from Off-the-shelf Vision-Language Models [44.146292819267956]
  大規模視覚言語モデル(VLM)は、画像領域と単語を暗黙的に関連付けることを学び、視覚的問題のようなタスクに有効である。 本稿では,OVSS(Plug-and-Play-Vocabulary Semantic)を提案する。
  論文  参考訳（メタデータ） (2023-11-28T06:42:58Z)
• SemiVL: Semi-Supervised Semantic Segmentation with Vision-Language Guidance [97.00445262074595]
  半教師付きセマンティックセマンティックセグメンテーションに視覚言語モデルからの豊富な事前情報を統合することを提案する。 我々は、視覚と言語を共同で推論する言語誘導デコーダを設計する。 4つのセマンティックセグメンテーションデータセット上でSemiVLを評価する。
  論文  参考訳（メタデータ） (2023-11-27T19:00:06Z)
• FuseNet: Self-Supervised Dual-Path Network for Medical Image Segmentation [3.485615723221064]
  FuseNetは、自己教師型セマンティックセグメンテーションのためのデュアルストリームフレームワークである。 クロスモーダル融合技術は、テキストデータを拡張画像に置き換えることで、CLIPの原理を拡張している。 皮膚病変と肺分画データセットの実験により, 本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-11-22T00:03:16Z)
• CorrMatch: Label Propagation via Correlation Matching for Semi-Supervised Semantic Segmentation [73.89509052503222]
  本稿では、CorrMatchと呼ばれる、単純だが実行可能な半教師付きセマンティックセマンティックセマンティックセマンティクス手法を提案する。 相関写像は、同一カテゴリのクラスタリングピクセルを容易に実現できるだけでなく、良好な形状情報も含んでいることを観察する。 我々は,高信頼画素を拡大し,さらに掘り出すために,画素の対の類似性をモデル化して画素伝搬を行う。 そして、相関地図から抽出した正確なクラス非依存マスクを用いて、領域伝搬を行い、擬似ラベルを強化する。
  論文  参考訳（メタデータ） (2023-06-07T10:02:29Z)
• VLMixer: Unpaired Vision-Language Pre-training via Cross-Modal CutMix [59.25846149124199]
  本稿では,データ拡張手法,すなわちクロスモーダルCutMixを提案する。 CMCは自然文をテキストビューからマルチモーダルビューに変換する。 クロスモーダルノイズをユニモーダルデータにアタッチすることで、モダリティ間のトークンレベルの相互作用を学習し、より優れたデノゲーションを実現する。
  論文  参考訳（メタデータ） (2022-06-17T17:56:47Z)
• Exploring Intra- and Inter-Video Relation for Surgical Semantic Scene Segmentation [58.74791043631219]
  セグメンテーション性能を高めるために,映像内および映像間関係を補完する新しいフレームワークSTswinCLを提案する。 本研究では,EndoVis18 ChallengeとCaDISデータセットを含む2つの公開手術ビデオベンチマークに対するアプローチを広く検証する。 実験により,従来の最先端手法を一貫して超越した提案手法の有望な性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T05:52:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。