論文の概要: LASA: A Weak Supervision Method for Open-Vocabulary Scene Sketch Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2606.11837v1
- Date: Wed, 10 Jun 2026 09:17:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.382615
- Title: LASA: A Weak Supervision Method for Open-Vocabulary Scene Sketch Semantic Segmentation
- Title（参考訳）: LASA:オープンボキャブラリシーンセマンティックセマンティックセマンティックセマンティックセグメンテーションのための弱スーパービジョン手法
- Authors: Liwen Yi, Xianlin Zhang, Yue Zhang, Yue Ming, Xueming Li,
- Abstract要約: オープン語彙シーンのスケッチセマンティックセマンティックセマンティックセマンティックセマンティクスは、推論時に指定された柔軟なカテゴリ語彙に基づいて、疎線描画に密度の高いセマンティクスラベルを割り当てることを目的としている。
自然な画像とは異なり、スケッチにはテクスチャや色の手がかりがなく、セマンティックな理解はストロークのレイアウトや空間的な構成に大きく依存する。
textbfLayer-wise textbfAccumulated textbfStructural textbfAttention (textbfLASA) に基づく構造認識フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 9.681252371247643
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open-vocabulary scene sketch semantic segmentation aims to assign dense semantic labels to sparse line drawings based on flexible category vocabularies specified at inference time, without relying on pixel-level annotations during training. Unlike natural images, sketches lack texture and color cues, making semantic understanding heavily dependent on stroke layout and spatial configuration, a challenge that renders single-layer vision-language features inherently unstable. Our key observation is that attention maps from different Vision Transformer layers encode complementary spatial cues: shallow layers capture global structural layouts, while deeper layers focus on local stroke intersections and object parts. This suggests that cross-layer aggregation provides a more robust structural prior than any individual layer alone. Leveraging this insight, we propose a structure-aware framework built upon \textbf{L}ayer-wise \textbf{A}ccumulated \textbf{S}tructural \textbf{A}ttention (\textbf{LASA}), which aggregates multi-layer attention to guide hierarchical semantic alignment under weak supervision and refine predictions during inference. Experiments on FS-COCO, SFSD, and FrISS show that LASA improves mIoU by $+3.43$, $+8.01$, and $+15.74$ over the prior weakly supervised baselines, demonstrating consistent gains in both segmentation accuracy and spatial coherence. Our source code will be made publicly available.
- Abstract（参考訳）: Open-vocabulary scene sketch semantic segmentationは、訓練中にピクセルレベルのアノテーションに頼ることなく、推論時に指定されたフレキシブルなカテゴリボキャブラリに基づいて、密度の高いセマンティックラベルをスパースライン描画に割り当てることを目的としている。
自然な画像とは異なり、スケッチにはテクスチャや色の手がかりがなく、セマンティックな理解はストロークのレイアウトや空間的な構成に大きく依存している。
私たちのキーとなる観察は、異なるビジョントランスフォーマー層からの注目マップが補完的な空間的手がかりを符号化していることです。
このことは、層間凝集が、個々の層単独よりもより堅牢な構造をもたらすことを示唆している。
この知見を生かして、弱監督下で階層的セマンティックアライメントを導くために多層的な注意を集約し、推論中に洗練された予測を行う、構造的アウェアフレームワークを提案する。
FS-COCO、SFSD、FrISSの実験では、LASAはmIoUを3.43$、$+8.01$、$+15.74$で改善し、セグメンテーション精度と空間コヒーレンスの両方において一貫した利得を示す。
私たちのソースコードは公開されます。
関連論文リスト
- OmniGF: A Dual-Branch Vision-Language Framework for Unified Gaze Following [59.53720386342017]
拡張性のある多対人視線推論に基礎的な視覚言語モデルを適用する統合視覚言語フレームワークを提案する。
すべての個人をモデル化することにより、OmniGFは正確な空間的視線目標推定、意味的視線予測、複雑な社会的視線推定をシームレスに統合する。
論文 参考訳（メタデータ） (2026-05-26T00:08:06Z) - dinov3.seg: Open-Vocabulary Semantic Segmentation with DINOv3 [36.6036728217708]
Open-Vocabulary Semantics (OVSS)は、テキスト定義カテゴリのオープンセットからピクセルレベルのラベルを割り当て、推論時に見えないクラスに信頼性の高い一般化を要求する。
我々は dinov3.seg を導入し、 dinov3.txt を OVSS 専用のフレームワークに拡張した。
まず、このバックボーンに合わせたタスク固有のアーキテクチャを設計し、従来のオープン語彙セグメンテーション作業から確立した設計原則を体系的に適用する。
第2に、VTベースのエンコーダのグローバルトークンとローカルパッチレベルのビジュアル特徴の両方に整合したテキスト埋め込みを共同で活用する。
論文 参考訳（メタデータ） (2026-03-19T23:57:28Z) - Aligning Forest and Trees in Images and Long Captions for Visually Grounded Understanding [31.471221254091294]
CLIPのような大きな視覚言語モデルは、画像やテキストを未分化の全体としてアライメントするため、長いキャプションに苦労する。
画像と長文のセマンティクスを画素レベルの監督なしに協調する階層的な画像テキスト表現学習フレームワークCAFTを提案する。
論文 参考訳（メタデータ） (2026-02-03T01:31:55Z) - DiSa: Saliency-Aware Foreground-Background Disentangled Framework for Open-Vocabulary Semantic Segmentation [16.57245702815661]
Open-vocabulary semantic segmentationは、テキストラベルに基づいた画像内の各ピクセルにラベルを割り当てることを目的としている。
既存のアプローチでは、CLIPのような視覚言語モデル(VLM)を高密度な予測に利用するのが一般的である。
本稿では,新しいサリエンシを意識したフォアグラウンド・バックアングル型フレームワークであるDiSaを紹介する。
論文 参考訳（メタデータ） (2026-01-27T21:15:10Z) - ESCA: Contextualizing Embodied Agents via Scene-Graph Generation [47.008144510161486]
本研究では,空間的時間的シーングラフの認識を基盤として,エンボディーズエージェントを文脈的に認識するフレームワークであるESCAを提案する。
コアとなるSGCLIPは、シーングラフを生成するための、新しく、オープンドメインで、プロンプト可能な基盤モデルである。
SGCLIPは、プロンプトベースの推論とタスク固有の微調整の両方で優れており、シーングラフ生成とアクションローカライゼーションベンチマークにおける最先端の結果を達成する。
論文 参考訳（メタデータ） (2025-10-11T20:13:59Z) - CoPatch: Zero-Shot Referring Image Segmentation by Leveraging Untapped Spatial Knowledge in CLIP [26.827036116024914]
textscCoPatchはゼロショットRISフレームワークで、テキストと画像の両方の空間表現を強化する。
また,textscCoPatchは, RefCOCO, RefCOCO+, RefCOCOg, PhraseCut (+ 2--7 mIoU) のゼロショットRISにおける空間接地を,追加の訓練を必要とせずに大幅に改善することを示した。
論文 参考訳（メタデータ） (2025-09-27T04:12:10Z) - Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。
2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
論文 参考訳（メタデータ） (2025-08-15T06:43:51Z) - N2F2: Hierarchical Scene Understanding with Nested Neural Feature Fields [112.02885337510716]
Nested Neural Feature Fields (N2F2)は、階層的な監視を用いて単一機能フィールドを学習する新しいアプローチである。
画像空間の任意のスケールで意味的に意味のある画素群を提供するために、2次元クラス非依存セグメンテーションモデルを利用する。
オープンな3次元セグメンテーションやローカライゼーションといったタスクにおいて,最先端のフィールド蒸留法よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2024-03-16T18:50:44Z) - Open-Vocabulary Camouflaged Object Segmentation [66.94945066779988]
OVCOS(Open-vocabulary camouflaged Object segmentation)を導入した。
我々は11,483個の手選択画像とそれに対応するオブジェクトクラスを含む大規模複合シーンデータセット(textbfOVCamo)を構築した。
クラスセマンティック知識の指導とエッジ情報と深度情報からの視覚構造的手がかりの補足を統合することにより、提案手法は効率よくカモフラージュされたオブジェクトを捕捉できる。
論文 参考訳（メタデータ） (2023-11-19T06:00:39Z) - Unsupervised Semantic Segmentation by Distilling Feature Correspondences [94.73675308961944]
教師なしセマンティックセグメンテーション(unsupervised semantic segmentation)は、アノテーションなしで画像コーパス内の意味論的意味のあるカテゴリを発見し、ローカライズすることを目的としている。
STEGOは、教師なし特徴を高品質な個別のセマンティックラベルに蒸留する新しいフレームワークである。
STEGOは、CocoStuffとCityscapesの両課題において、先行技術よりも大幅に改善されている。
論文 参考訳（メタデータ） (2022-03-16T06:08:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。