論文の概要: Discovering Semantic Granularity in Images through Clustering of Pretrained Visual Representations
- arxiv url: http://arxiv.org/abs/2611.02686v2
- Date: Thu, 05 Nov 2026 03:13:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.328848
- Title: Discovering Semantic Granularity in Images through Clustering of Pretrained Visual Representations
- Title（参考訳）: 事前制約された視覚表現のクラスタリングによる画像中の意味的粒度の検出
- Abstract要約: 本稿では,異なる粒度で意味のある画像領域を発見するための表現駆動型手法を提案する。
本研究では,事前学習された視覚モデルから抽出した特徴写像を用い,特異値分解を画素ワイド・プリンシパルマップテンソル(PRM)の導出に適用する。
PRMは、事前訓練された視覚表現に埋め込まれた潜在意味構造をキャプチャし、その後のセマンティッククラスタリングにアクセスできる。
- 参考スコア（独自算出の注目度）: 1.0152838128195465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semantic granularity, which refers to the levels at which visual representations organize image content into meaningful entities, is fundamental to image understanding. However, whether pretrained visual representations inherently encode semantic structures at multiple granularities remains poorly understood. This paper presents a representation-driven approach for discovering semantically meaningful image regions at different granularities through clustering of pretrained visual representations without semantic supervision. Specifically, we concatenate selected feature maps extracted from a pretrained visual model and apply a singular value decomposition (SVD)-based projection to derive pixel-wise principal representation map tensor (PRMs). The resulting PRMs captures latent semantic structures embedded in pretrained visual representations, making them accessible to subsequent semantic clustering. We then introduce the semantic continuity rate (SCR), based on the silhouette principle, to quantify the clustering behavior of PRMs at different candidate granularities. Furthermore, we analyze the signal-to-noise ratio (SNR) of SCR profiles to assess the PRMs suitability for discovering semantic-like meaningful regions at multiple granularities. Our results indicate that PRMs exhibiting a higher proportion of relatively high SNR values over an initial range of cluster numbers tend to yield more semantically meaningful regions across multiple granularities. We evaluate the proposed approach on the COCO-2017 and VOC-2012 validation datasets using Hungarian-matched intersection over union (HIoU). The results demonstrate competitive segmentation performance among the compared methods, supporting the feasibility of discovering useful semantic granularities through clustering PRMs without semantic supervision.
- Abstract（参考訳）: セマンティックグラニュリティ(Semantic Granity)は、視覚的表現がイメージコンテンツを意味のある実体に整理するレベルを指す。
しかし、事前訓練された視覚表現が本質的に複数の粒度のセマンティック構造を符号化するか否かは、まだよく分かっていない。
本稿では,事前学習した視覚的表現のクラスタリングを通じて,意味的に意味のある領域を異なる粒度で発見するための表現駆動型アプローチを提案する。
具体的には、事前訓練された視覚モデルから抽出した特徴写像を連結し、特異値分解(SVD)ベースの投影を画素単位の主表現地図テンソル(PRM)の導出に適用する。
結果としてPRMは、事前訓練された視覚表現に埋め込まれた潜在意味構造をキャプチャし、その後のセマンティッククラスタリングにアクセスできる。
次に、シルエット原理に基づく意味的連続性率(SCR)を導入し、異なる候補粒度におけるPRMのクラスタリング挙動を定量化する。
さらに、SCRプロファイルの信号対雑音比(SNR)を分析し、複数の粒度で意味のある領域を発見するためのPRMs適合性を評価する。
以上の結果から,クラスタ数の初期値よりも比較的高いSNR値の比率を示すPRMは,複数の粒度にまたがって意味論的に意味のある領域を生じる傾向が示唆された。
提案手法は, ハンガリー整合結合 (HIoU) を用いたCOCO-2017とVOC-2012の検証データセットについて検討した。
その結果、比較手法間の競合セグメンテーション性能を実証し、意味的監督を伴わないクラスタリングPRMによる有用なセグメンテーションの発見の可能性を示した。
関連論文リスト
- MoETok: Sparse Expert Routing for 1D Visual Tokenizers [52.30634907797462]
MoETokは1Dビジュアルトークンライザで、トークンをわずかにアクティベートされた専門家を通してルーティングする。
ImageNetでは、強力な再構成とセマンティック表現と最先端のクラス条件生成を組み合わせる。
論文 参考訳（メタデータ） (2026-10-30T16:37:55Z) - Unconditional CNN denoisers contain sparse semantic representation of images [7.944450290193519]
生成拡散モデルは、ノイズ除去のためにトレーニングされたニューラルネットワークを用いてスコアを推定することにより、多様な画像データセットの確率を学習する。
本稿では,完全畳み込み型無条件UNetにおけるスコア推定から生じる画像表現について検討する。
UNetの中間ブロックは、個々の画像を活性チャネルのスパース部分集合に分解し、これらのチャネルの空間平均のベクトルは、基礎となるクリーン画像の非線形表現を提供することができることを示す。
論文 参考訳（メタデータ） (2025-06-02T17:33:34Z) - Learning disentangled representations for explainable chest X-ray
classification using Dirichlet VAEs [68.73427163074015]
本研究では,胸部X線像の非絡み合った潜在表現の学習にDirVAE(Dirichlet Variational Autoencoder)を用いることを検討した。
DirVAEモデルにより学習された多モード潜在表現の予測能力について,補助的多ラベル分類タスクの実装により検討した。
論文 参考訳（メタデータ） (2023-02-06T18:10:08Z) - Rethinking Alignment and Uniformity in Unsupervised Semantic Segmentation [11.754728158332531]
教師なしのイメージセマンティックセグメンテーションは、外部の監督なしに、低レベルの視覚特徴とセマンティックレベルの表現とを一致させることを目的としている。
本稿では,UISSモデルにおける特徴アライメントと特徴均一性の観点から,重要な特性について考察する。
本稿では,セマンティック・アテンション・ネットワーク(SAN)と呼ばれるロバストなネットワークを提案し,セマンティック・アテンション(SEAT)というモジュールを動的に生成する手法を提案する。
論文 参考訳（メタデータ） (2022-11-26T08:43:12Z) - LEAD: Self-Supervised Landmark Estimation by Aligning Distributions of
Feature Similarity [49.84167231111667]
自己監督型ランドマーク検出における既存の研究は、画像から高密度(ピクセルレベルの)特徴表現を学習することに基づいている。
自己教師付き方式で高密度同変表現の学習を強化するアプローチを提案する。
機能抽出器にそのような先行性があることは,アノテーションの数が大幅に制限されている場合でも,ランドマーク検出に役立ちます。
論文 参考訳（メタデータ） (2022-04-06T17:48:18Z) - Self-supervised Contrastive Learning for Cross-domain Hyperspectral
Image Representation [26.610588734000316]
本稿では,アノテートが本質的に困難であるハイパースペクトル画像に適した自己教師型学習フレームワークを提案する。
提案するフレームワークアーキテクチャは、クロスドメインCNNを利用して、異なるハイパースペクトル画像から表現を学習する。
実験結果は、スクラッチや他の移動学習法から学習したモデルに対して、提案した自己教師型表現の利点を示す。
論文 参考訳（メタデータ） (2022-02-08T16:16:45Z) - Exploring Set Similarity for Dense Self-supervised Representation
Learning [96.35286140203407]
本研究では,高密度自己教師型表現学習のためのtextbfset textbfsimilarity (SetSim) を提案する。
ピクセルワイドの類似性学習をセットワイドに一般化し,よりセマンティックな情報や構造的な情報を含むため,ロバスト性を向上させる。
具体的には、ビューの注意的特徴に頼って対応する集合を定め、不適切な対応を引き起こす可能性のあるノイズの多い背景をフィルタリングする。
論文 参考訳（メタデータ） (2021-07-19T09:38:27Z) - Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。
画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。
特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
論文 参考訳（メタデータ） (2020-12-09T12:40:13Z) - Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-13T18:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。