論文の概要: SegDiscover: Visual Concept Discovery via Unsupervised Semantic
Segmentation
- arxiv url: http://arxiv.org/abs/2204.10926v1
- Date: Fri, 22 Apr 2022 20:44:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-26 12:10:26.702971
- Title: SegDiscover: Visual Concept Discovery via Unsupervised Semantic
Segmentation
- Title(参考訳): SegDiscover: 教師なしセマンティックセグメンテーションによる視覚概念発見
- Authors: Haiyang Huang, Zhi Chen, Cynthia Rudin
- Abstract要約: SegDiscoverは、監視なしで複雑なシーンを持つデータセットから意味論的に意味のある視覚概念を発見する新しいフレームワークである。
提案手法は, 生画像から概念プリミティブを生成し, 自己教師付き事前学習エンコーダの潜在空間をクラスタリングし, ニューラルネットワークのスムーズ化により概念の洗練を図る。
- 参考スコア(独自算出の注目度): 29.809900593362844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual concept discovery has long been deemed important to improve
interpretability of neural networks, because a bank of semantically meaningful
concepts would provide us with a starting point for building machine learning
models that exhibit intelligible reasoning process. Previous methods have
disadvantages: either they rely on labelled support sets that incorporate human
biases for objects that are "useful," or they fail to identify multiple
concepts that occur within a single image. We reframe the concept discovery
task as an unsupervised semantic segmentation problem, and present SegDiscover,
a novel framework that discovers semantically meaningful visual concepts from
imagery datasets with complex scenes without supervision. Our method contains
three important pieces: generating concept primitives from raw images,
discovering concepts by clustering in the latent space of a self-supervised
pretrained encoder, and concept refinement via neural network smoothing.
Experimental results provide evidence that our method can discover multiple
concepts within a single image and outperforms state-of-the-art unsupervised
methods on complex datasets such as Cityscapes and COCO-Stuff. Our method can
be further used as a neural network explanation tool by comparing results
obtained by different encoders.
- Abstract(参考訳): 意味的に意味のある概念のバンクは、理解可能な推論プロセスを示す機械学習モデルを構築するための出発点となります。
従来の方法には欠点がある:それらは「有用」なオブジェクトに対する人間のバイアスを含むラベル付きサポートセットに依存するか、1つのイメージ内で発生する複数の概念を特定するのに失敗する。
我々は,概念発見タスクを教師なし意味セグメンテーション問題として再構成し,複雑なシーンを持つ画像データセットから意味的に意味のある視覚概念を無監督で発見する新しいフレームワークsegdiscoverを提案する。
提案手法は,生画像から概念プリミティブを生成すること,自己教師付き事前学習エンコーダの潜在空間におけるクラスタリングによる概念発見,ニューラルネットワークスムージングによる概念改善の3つの重要な部分を含む。
実験結果から,本手法が単一画像内で複数の概念を発見できることを示すとともに,CityscapesやCOCO-Stuffといった複雑なデータセット上で,最先端の教師なし手法より優れていることを示す。
本手法は, 異なるエンコーダで得られた結果を比較することで, ニューラルネットワークの解説ツールとしてさらに活用できる。
関連論文リスト
- CLiC: Concept Learning in Context [54.81654147248919]
本稿では,視覚概念学習の最近の進歩に基づく。
ソースイメージから視覚概念を取得し、その後ターゲットイメージ内のオブジェクトに適用する。
概念学習のローカライズには,マスク内の概念と周囲の画像領域の両方を含むソフトマスクを用いる。
論文 参考訳(メタデータ) (2023-11-28T01:33:18Z) - GCPV: Guided Concept Projection Vectors for the Explainable Inspection
of CNN Feature Spaces [1.0923877073891446]
本稿では,ローカル・グローバルな概念射影ベクトル(GCPV)のアプローチを紹介する。
GCPVはローカルな概念ベクトルを生成し、それぞれが概念セグメンテーションラベルを正確に再構築する。
その後、これらを大域的な概念に一般化し、階層的クラスタリングによって部分概念ベクトルさえも一般化する。
論文 参考訳(メタデータ) (2023-11-24T12:22:00Z) - Hierarchical Concept Discovery Models: A Concept Pyramid Scheme [11.138948381367133]
この研究は、アンテホック解釈可能性、特に概念ボトルネックモデル(CBM)をターゲットにしている。
私たちのゴールは、人間の理解可能な概念に関して、高度に解釈可能な意思決定プロセスを認めるフレームワークを設計することです。
この枠組みの中では、概念情報は全体像と一般的な非構造化概念との類似性にのみ依存しない。
論文 参考訳(メタデータ) (2023-10-03T14:57:31Z) - Uncovering Unique Concept Vectors through Latent Space Decomposition [0.0]
概念に基づく説明は、特徴帰属推定よりも解釈可能な優れたアプローチとして現れてきた。
本稿では,訓練中に深層モデルから学んだ概念を自動的に発見するポストホックな教師なし手法を提案する。
実験の結果、我々の概念の大部分は、人間にとって容易に理解でき、一貫性を示し、目の前の課題に関連があることが判明した。
論文 参考訳(メタデータ) (2023-07-13T17:21:54Z) - Concept Decomposition for Visual Exploration and Inspiration [53.06983340652571]
本稿では,視覚概念を階層木構造に符号化した異なる視覚的側面に分解する手法を提案する。
我々は、概念分解と生成のために、大きな視覚言語モデルとそのリッチな潜在空間を利用する。
論文 参考訳(メタデータ) (2023-05-29T16:56:56Z) - Visual Superordinate Abstraction for Robust Concept Learning [80.15940996821541]
概念学習は言語意味論と結びついた視覚表現を構成する。
視覚概念の本質的な意味的階層を探索する失敗のボトルネックについて説明する。
本稿では,意味認識型視覚サブ空間を明示的にモデル化するビジュアル・スーパーオーディネート・抽象化・フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-28T14:27:38Z) - Visual Concepts Tokenization [65.61987357146997]
本稿では,教師なしトランスフォーマーに基づく視覚概念トークン化フレームワーク VCT を提案する。
これらの概念トークンを得るためには、概念トークン間の自己注意なしで画像トークン層から視覚情報を抽出するために、クロスアテンションのみを用いる。
さらに,異なる概念トークンが独立した視覚概念を表現することを容易にするために,概念分離損失を提案する。
論文 参考訳(メタデータ) (2022-05-20T11:25:31Z) - Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。
次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。
最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
論文 参考訳(メタデータ) (2022-02-25T01:27:31Z) - Interactive Disentanglement: Learning Concepts by Interacting with their
Prototype Representations [15.284688801788912]
本稿では,ニューラル概念学習者の潜伏空間の理解と改訂のためのプロトタイプ表現の利点を示す。
この目的のために,対話型概念スワッピングネットワーク(iCSN)を導入する。
iCSNは、ペア画像の潜在表現を交換することで、概念情報を特定のプロトタイプスロットにバインドすることを学ぶ。
論文 参考訳(メタデータ) (2021-12-04T09:25:40Z) - Unsupervised Learning of Compositional Energy Concepts [70.11673173291426]
本稿では,概念を別個のエネルギー関数として発見し,表現するCOMETを提案する。
Cometは、統一されたフレームワークの下でのオブジェクトだけでなく、グローバルな概念も表現します。
論文 参考訳(メタデータ) (2021-11-04T17:46:12Z) - Concept Generalization in Visual Representation Learning [39.32868843527767]
目に見える概念と目に見えない概念のセマンティックな関係が一般化性能に影響を及ぼすと論じる。
概念一般化を原理的に測定できる,ImageNetデータセットの新たなベンチマークであるImageNet-CoGを提案する。
論文 参考訳(メタデータ) (2020-12-10T13:13:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。