論文の概要: Learning from Multimodal Pseudo-Labels for Robust Open-Vocabulary Instance and Panoptic Segmentation

• arxiv url: http://arxiv.org/abs/2608.11681v1
• Date: Wed, 12 Aug 2026 05:39:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.475497
• Title: Learning from Multimodal Pseudo-Labels for Robust Open-Vocabulary Instance and Panoptic Segmentation
• Title（参考訳）: 複数モーダル擬似ラベルから学習したロバストなオープンボキャブラリインスタンスとパノプティクスセグメンテーション
• Abstract要約: 本研究は,OVIS(Open-vocabulary instance segmentation)とOSPS(Open-set Panoptic segmentation)の課題に対処する。 既存の手法では、ノイズの多い擬似マスク、限られた視覚的テキストの接地、同義語や語彙外語を扱うのが困難であることが多い。 本稿では,事前学習した視覚言語モデルを用いて,擬似ラベルの自動生成,CLIP誘導同義語フィルタリング,GPTに基づく字幕再構成を行うマルチモーダルフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.82691757866647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work addresses the challenge of open-vocabulary instance segmentation (OVIS) and open-set panoptic segmentation (OSPS), which aim to recognize both predefined and unseen object categories without exhaustive human annotations. Existing methods often suffer from noisy pseudo-masks, limited visual-textual grounding, and difficulty handling synonyms or out-of-vocabulary (OOV) words. To overcome these challenges, we propose a multimodal framework that leverages pre-trained vision-language models for automatic pseudo-label generation, CLIP-guided synonym filtering, and GPT-based caption reconstruction. In our target-vocabulary-assisted pseudo-labeling setting, the framework first constructs pseudo segmentation masks, descriptive captions, and semantically aligned synonym sets using Grounded SAM, LLaVA, and CLIP, providing multimodal supervision without manual annotation. We then enhance visual-textual alignment through three complementary training objectives: an extended grounding loss that incorporates visually grounded synonyms, a semantic consistency loss, and a generative caption reconstruction loss. Extensive experiments on the COCO dataset demonstrate that the proposed method consistently outperforms previous state-of-the-art approaches under this protocol, achieving substantial improvements on both OVIS and OSPS benchmarks.
• Abstract（参考訳）: 本研究は,OVIS(Open-vocabulary instance segmentation)とOSPS(Open-set panoptic segmentation)の課題に対処する。 既存の手法では、ノイズの多い擬似マスク、限られた視覚的テキストのグラウンド、同義語や外語彙(OOV)の扱いが困難であることが多い。 これらの課題を克服するために,自動擬似ラベル生成,CLIP誘導同義語フィルタリング,GPTに基づく字幕再構築のために,事前学習した視覚言語モデルを活用するマルチモーダルフレームワークを提案する。 このフレームワークは,まず擬似セグメンテーションマスク,記述キャプション,および意味的に整合した同義語セットを,手動のアノテーションを使わずにマルチモーダルで管理する。 次に,3つの相補的な訓練目標,すなわち,視覚的に接地された同義語を含む拡張的接地的損失,意味的整合性喪失,生成的字幕再建損失の3つを通じて,視覚的・テクスチャ的アライメントを高める。 COCOデータセットの大規模な実験により、提案手法は従来手法よりも一貫して優れており、OVISベンチマークとOSPSベンチマークの両方で大幅に改善されている。

関連論文リスト

• Structured-Condensed Prompt Tuning in Vision-Language Models for Fine-grained Image Recognition [38.294322671641545]
  微粒な画像認識は、手動のアノテーションに必要な相当な専門知識と努力のために重要な課題である。 現在のメソッドでは、クラスラベルを独立した独立したエンティティとして扱い、それらの間のリッチなセマンティックな関係を見渡しています。 本稿では,素早い学習における意味的構造モデリングの強化を目的としたSCPT(Structured-Condensed Prompt Tuning)を提案する。
  論文  参考訳（メタデータ） (2026-07-07T12:09:49Z)
• LASA: A Weak Supervision Method for Open-Vocabulary Scene Sketch Semantic Segmentation [9.681252371247643]
  オープン語彙シーンのスケッチセマンティックセマンティックセマンティックセマンティックセマンティクスは、推論時に指定された柔軟なカテゴリ語彙に基づいて、疎線描画に密度の高いセマンティクスラベルを割り当てることを目的としている。 自然な画像とは異なり、スケッチにはテクスチャや色の手がかりがなく、セマンティックな理解はストロークのレイアウトや空間的な構成に大きく依存する。 textbfLayer-wise textbfAccumulated textbfStructural textbfAttention (textbfLASA) に基づく構造認識フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-10T09:17:36Z)
• Learning to Label: A Reinforced Self-Evolving Framework for Semi-supervised Referring Expression Segmentation [34.401271440453044]
  Labelへの学習は、擬似ラベル構成を学習可能な意思決定プロセスとして採用する。 安定した学習を確保するために、探索的決定プロセスとして強化された擬似ラベル選択を定式化する。 RefCOCO、RefCO+、RefCOCOgの実験は、既存の方法よりも改善されている。
  論文  参考訳（メタデータ） (2026-05-27T09:54:26Z)
• Seeking Consensus: Geometric-Semantic On-the-Fly Recalibration for Open-Vocabulary Remote Sensing Semantic Segmentation [27.476148859056114]
  SeeCoは、リモートセンシング画像におけるトレーニング不要のOVSSモデルのパフォーマンスを向上させるための、プラグアンドプレイフレームワークである。 デュアルコンセンサスを求めることにより、任意のOVSSモデルをオンザフライで再分類する。 8つのリモートセンシングOVSSベンチマークの実験は、一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-04-29T01:57:21Z)
• Constrained Prompt Enhancement for Improving Zero-Shot Generalization of Vision-Language Models [57.357091028792325]
  ウェブスケールのデータに基づいて事前訓練された視覚言語モデル(VLM)は、ゼロショットの一般化を約束するが、しばしば意味的ミスアライメントに悩まされる。 視覚・テクストアライメントを改善するために,制約付きプロンプトエンハンスメント(CPE)法を提案する。 提案手法はTGSSG(Topology-Guided Synonymous Semantic Generation)とCADRS(Calegory-Agnostic Discriminative Region Selection)の2つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2025-08-24T15:45:22Z)
• Language-Driven Visual Consensus for Zero-Shot Semantic Segmentation [114.72734384299476]
  本稿では,言語駆動型ビジュアルコンセンサス(LDVC)アプローチを提案する。 クラス埋め込みを、その離散的で抽象的な性質からアンカーとして活用し、クラス埋め込みに向けて視覚的特徴を操る。 我々の手法は、目に見えないクラスに対するセグメンテーションモデルの能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-13T11:23:55Z)
• Open-Vocabulary Segmentation with Unpaired Mask-Text Supervision [87.15580604023555]
  Unpair-Segは、弱制御されたオープン語彙セグメンテーションフレームワークである。 未ペア画像マスクと画像テキストペアから学習し、独立して効率的に収集することができる。 ADE-847とPASCAL Context-459データセットで14.6%と19.5%のmIoUを達成した。
  論文  参考訳（メタデータ） (2024-02-14T06:01:44Z)
• Open-Vocabulary Segmentation with Semantic-Assisted Calibration [68.41025728960176]
  オープンボキャブラリセグメンテーション(OVS)は,CLIPの文脈に先行して,語彙内およびドメインバイアスの埋め込み空間を校正することで研究される。 オープン語彙セグメンテーションベンチマークにおける最先端性能を実現するために,セマンティック・アシブ・キャリブレーション・ネットワーク(SCAN)を提案する。
  論文  参考訳（メタデータ） (2023-12-07T07:00:09Z)
• Betrayed by Captions: Joint Caption Grounding and Generation for Open Vocabulary Instance Segmentation [80.48979302400868]
  オープンな語彙のインスタンスセグメンテーションに注目し、セグメンテーションモデルを拡張して、インスタンスレベルの新しいカテゴリを分類し、セグメンテーションする。 これまでは、画像領域と名詞の字幕間の1対1のマッピングを確立するために、大量の字幕データセットと複雑なパイプラインに頼っていた。 我々は,一致したオブジェクトのみに着目して学習効率を向上させる新しいグラウンドニング損失を取り入れた,共同の textbf Caption Grounding and Generation (CGG) フレームワークを考案した。
  論文  参考訳（メタデータ） (2023-01-02T18:52:12Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。