論文の概要: SegDiscover: Visual Concept Discovery via Unsupervised Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2204.10926v1
• Date: Fri, 22 Apr 2022 20:44:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 12:10:26.702971
• Title: SegDiscover: Visual Concept Discovery via Unsupervised Semantic Segmentation
• Title（参考訳）: SegDiscover: 教師なしセマンティックセグメンテーションによる視覚概念発見
• Authors: Haiyang Huang, Zhi Chen, Cynthia Rudin
• Abstract要約: SegDiscoverは、監視なしで複雑なシーンを持つデータセットから意味論的に意味のある視覚概念を発見する新しいフレームワークである。 提案手法は, 生画像から概念プリミティブを生成し, 自己教師付き事前学習エンコーダの潜在空間をクラスタリングし, ニューラルネットワークのスムーズ化により概念の洗練を図る。
• 参考スコア（独自算出の注目度）: 29.809900593362844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual concept discovery has long been deemed important to improve interpretability of neural networks, because a bank of semantically meaningful concepts would provide us with a starting point for building machine learning models that exhibit intelligible reasoning process. Previous methods have disadvantages: either they rely on labelled support sets that incorporate human biases for objects that are "useful," or they fail to identify multiple concepts that occur within a single image. We reframe the concept discovery task as an unsupervised semantic segmentation problem, and present SegDiscover, a novel framework that discovers semantically meaningful visual concepts from imagery datasets with complex scenes without supervision. Our method contains three important pieces: generating concept primitives from raw images, discovering concepts by clustering in the latent space of a self-supervised pretrained encoder, and concept refinement via neural network smoothing. Experimental results provide evidence that our method can discover multiple concepts within a single image and outperforms state-of-the-art unsupervised methods on complex datasets such as Cityscapes and COCO-Stuff. Our method can be further used as a neural network explanation tool by comparing results obtained by different encoders.
• Abstract（参考訳）: 意味的に意味のある概念のバンクは、理解可能な推論プロセスを示す機械学習モデルを構築するための出発点となります。 従来の方法には欠点がある:それらは「有用」なオブジェクトに対する人間のバイアスを含むラベル付きサポートセットに依存するか、1つのイメージ内で発生する複数の概念を特定するのに失敗する。 我々は,概念発見タスクを教師なし意味セグメンテーション問題として再構成し,複雑なシーンを持つ画像データセットから意味的に意味のある視覚概念を無監督で発見する新しいフレームワークsegdiscoverを提案する。 提案手法は,生画像から概念プリミティブを生成すること,自己教師付き事前学習エンコーダの潜在空間におけるクラスタリングによる概念発見,ニューラルネットワークスムージングによる概念改善の3つの重要な部分を含む。 実験結果から,本手法が単一画像内で複数の概念を発見できることを示すとともに,CityscapesやCOCO-Stuffといった複雑なデータセット上で,最先端の教師なし手法より優れていることを示す。 本手法は, 異なるエンコーダで得られた結果を比較することで, ニューラルネットワークの解説ツールとしてさらに活用できる。

関連論文リスト

• Exploiting Interpretable Capabilities with Concept-Enhanced Diffusion and Prototype Networks [8.391254800873599]
  既存のアーキテクチャに概念情報を組み込んだ、概念に富んだモデルを作成します。 特に,概念の視覚的表現を生成できる概念誘導拡散条件と,概念誘導型プロトタイプネットワークを提案する。 これらの結果は、機械学習をより人間に理解しやすいものにするために、既存の情報を活用することによって、新たな研究の行を開放する。
  論文  参考訳（メタデータ） (2024-10-24T13:07:56Z)
• Explainable Concept Generation through Vision-Language Preference Learning [7.736445799116692]
  概念に基づく説明は、ポストホック後のディープニューラルネットワークを説明するための一般的な選択肢となっている。 視覚言語生成モデルを微調整する強化学習に基づく選好最適化アルゴリズムを考案する。 提案手法の有効性と信頼性に加えて,ニューラルネットワーク解析の診断ツールとしての有用性を示す。
  論文  参考訳（メタデータ） (2024-08-24T02:26:42Z)
• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• LLM-assisted Concept Discovery: Automatically Identifying and Explaining Neuron Functions [15.381209058506078]
  以前の研究は、概念の例や事前に定義された概念のセットに基づいて、ニューロンに関連づけられた概念を持っている。 本稿では,マルチモーダルな大規模言語モデルを用いて,自動的かつオープンな概念発見を提案する。 我々は,この新たな画像に対して,サンプルと反例を生成し,ニューロンの反応を評価することにより,それぞれの概念を検証する。
  論文  参考訳（メタデータ） (2024-06-12T18:19:37Z)
• CLiC: Concept Learning in Context [54.81654147248919]
  本稿では,視覚概念学習の最近の進歩に基づく。 ソースイメージから視覚概念を取得し、その後ターゲットイメージ内のオブジェクトに適用する。 概念学習のローカライズには,マスク内の概念と周囲の画像領域の両方を含むソフトマスクを用いる。
  論文  参考訳（メタデータ） (2023-11-28T01:33:18Z)
• Concept Decomposition for Visual Exploration and Inspiration [53.06983340652571]
  本稿では,視覚概念を階層木構造に符号化した異なる視覚的側面に分解する手法を提案する。 我々は、概念分解と生成のために、大きな視覚言語モデルとそのリッチな潜在空間を利用する。
  論文  参考訳（メタデータ） (2023-05-29T16:56:56Z)
• Visual Superordinate Abstraction for Robust Concept Learning [80.15940996821541]
  概念学習は言語意味論と結びついた視覚表現を構成する。 視覚概念の本質的な意味的階層を探索する失敗のボトルネックについて説明する。 本稿では,意味認識型視覚サブ空間を明示的にモデル化するビジュアル・スーパーオーディネート・抽象化・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-28T14:27:38Z)
• Visual Concepts Tokenization [65.61987357146997]
  本稿では,教師なしトランスフォーマーに基づく視覚概念トークン化フレームワーク VCT を提案する。 これらの概念トークンを得るためには、概念トークン間の自己注意なしで画像トークン層から視覚情報を抽出するために、クロスアテンションのみを用いる。 さらに,異なる概念トークンが独立した視覚概念を表現することを容易にするために,概念分離損失を提案する。
  論文  参考訳（メタデータ） (2022-05-20T11:25:31Z)
• Interactive Disentanglement: Learning Concepts by Interacting with their Prototype Representations [15.284688801788912]
  本稿では,ニューラル概念学習者の潜伏空間の理解と改訂のためのプロトタイプ表現の利点を示す。 この目的のために,対話型概念スワッピングネットワーク(iCSN)を導入する。 iCSNは、ペア画像の潜在表現を交換することで、概念情報を特定のプロトタイプスロットにバインドすることを学ぶ。
  論文  参考訳（メタデータ） (2021-12-04T09:25:40Z)
• Unsupervised Learning of Compositional Energy Concepts [70.11673173291426]
  本稿では,概念を別個のエネルギー関数として発見し,表現するCOMETを提案する。 Cometは、統一されたフレームワークの下でのオブジェクトだけでなく、グローバルな概念も表現します。
  論文  参考訳（メタデータ） (2021-11-04T17:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。