論文の概要: Disentangling Embedding Spaces with Minimal Distributional Assumptions
- arxiv url: http://arxiv.org/abs/2206.13872v1
- Date: Tue, 28 Jun 2022 10:21:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-29 12:09:24.541615
- Title: Disentangling Embedding Spaces with Minimal Distributional Assumptions
- Title(参考訳): 最小分布仮定による埋め込み空間の分離
- Authors: Tobias Leemann, Michael Kirchhof, Yao Rong, Enkelejda Kasneci, Gjergji
Kasneci
- Abstract要約: 本稿では,解離学習とICAを用いた視覚モデルの概念的説明可能性を提案する。
より広範な問題のクラスに適用可能なDA(disjoint Attributions)概念発見法を導出する。
コンポーネント分析と300以上の最先端のアンタングルモデルとの比較において、DAは安定して優れた性能を維持している。
- 参考スコア(独自算出の注目度): 18.85180188353977
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interest in understanding and factorizing learned embedding spaces is
growing. For instance, recent concept-based explanation techniques analyze a
machine learning model in terms of interpretable latent components. Such
components have to be discovered in the model's embedding space, e.g., through
independent component analysis (ICA) or modern disentanglement learning
techniques. While these unsupervised approaches offer a sound formal framework,
they either require access to a data generating function or impose rigid
assumptions on the data distribution, such as independence of components, that
are often violated in practice. In this work, we link conceptual explainability
for vision models with disentanglement learning and ICA. This enables us to
provide first theoretical results on how components can be identified without
requiring any distributional assumptions. From these insights, we derive the
disjoint attributions (DA) concept discovery method that is applicable to a
broader class of problems than current approaches but yet possesses a formal
identifiability guarantee. In an extensive comparison against component
analysis and over 300 state-of-the-art disentanglement models, DA stably
maintains superior performance, even under varying distributions and
correlation strengths.
- Abstract(参考訳): 学習された埋め込み空間の理解と分解に関心が高まっている。
例えば、最近の概念に基づく説明手法は、解釈可能な潜在コンポーネントの観点から機械学習モデルを解析する。
このようなコンポーネントはモデルの埋め込み空間(例えば、独立成分分析(ICA)や現代の非絡み合い学習技術など)で見つける必要がある。
これらの教師なしアプローチは形式的なフレームワークを提供するが、それらはデータ生成機能へのアクセスを必要とするか、コンポーネントの独立性などのデータ分散に厳格な仮定を課すかのどちらかである。
本研究は,視覚モデルの概念説明可能性と異方性学習とicaをリンクする。
これにより、分布的な仮定を必要とせずに、コンポーネントの特定方法に関する最初の理論的結果が得られる。
これらの知見から、現在のアプローチよりも幅広い種類の問題に適用できるが、形式的な識別可能性保証を持っているdisjoint attributions(da)概念発見法を導出する。
コンポーネント分析と300以上の最先端の異方性モデルとの広範な比較において、daは、分布や相関強度が変化しても、安定して優れた性能を維持する。
関連論文リスト
- Can we Constrain Concept Bottleneck Models to Learn Semantically
Meaningful Input Features? [0.6993232019625149]
概念ボトルネックモデル(CBM)は、人間の定義した概念の集合を最初に予測するため、本質的に解釈可能であると考えられている。
固有解釈可能性を完全に実現するためには、意味的にマッピングされた入力機能に基づいて概念が予測されることを保証する必要がある。
我々はCBMが問題となる概念相関を取り除き,意味的マッピングによる概念表現を入力特徴へ学習できることを実証した。
論文 参考訳(メタデータ) (2024-02-01T10:18:43Z) - Do Concept Bottleneck Models Obey Locality? [16.141263815153206]
概念に基づく学習は、人間の理解可能な概念を通して予測を説明することによって、深層学習モデルの解釈可能性を改善する。
最近の研究は、この仮定がConcept Bottleneck Models(CBM)で成り立たないことを強く示唆している。
CBMは、そのような概念が空間的にも意味的にも局所化されているとき、概念間の条件独立の度合いを捉えている。
その結果,CBMが学習した概念表現の質に疑問を呈し,概念に基づく説明は地域外の変化に対して脆弱である可能性が強く示唆された。
論文 参考訳(メタデータ) (2024-01-02T16:05:23Z) - Implicit Concept Removal of Diffusion Models [96.03200681493348]
テキスト・ツー・イメージ(T2I)拡散モデルは、透かしや安全でない画像などの不要な概念を不注意に生成する。
幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
論文 参考訳(メタデータ) (2023-10-09T17:13:10Z) - The Hidden Language of Diffusion Models [70.03691458189604]
本稿では,テキスト概念の内部表現を拡散モデルで解釈する新しい手法であるConceptorを提案する。
概念間の驚くべき視覚的つながりは、それらのテキスト意味論を超越している。
我々はまた、模範的、偏見、名高い芸術様式、あるいは複数の意味の同時融合に依存する概念も発見する。
論文 参考訳(メタデータ) (2023-06-01T17:57:08Z) - COPEN: Probing Conceptual Knowledge in Pre-trained Language Models [60.10147136876669]
概念的知識は人間の認知と知識基盤の基本である。
既存の知識探索作業は、事前訓練された言語モデル(PLM)の事実知識のみに焦点を当て、概念知識を無視する。
PLMが概念的類似性によってエンティティを編成し、概念的特性を学習し、コンテキスト内でエンティティを概念化するかどうかを調査する3つのタスクを設計する。
タスクのために、393のコンセプトをカバーする24kのデータインスタンスを収集、注釈付けします。
論文 参考訳(メタデータ) (2022-11-08T08:18:06Z) - Concept Activation Regions: A Generalized Framework For Concept-Based
Explanations [95.94432031144716]
既存の手法では、概念を説明する例は、ディープニューラルネットワークの潜伏空間の一定の方向にマッピングされていると仮定している。
そこで本研究では,DNNの潜在空間において,異なるクラスタに分散した概念例を提案する。
この概念活性化領域(CAR)は、グローバルな概念に基づく説明と局所的な概念に基づく特徴の重要性をもたらす。
論文 参考訳(メタデータ) (2022-09-22T17:59:03Z) - Overlooked factors in concept-based explanations: Dataset choice,
concept learnability, and human capability [25.545486537295144]
概念に基づく解釈可能性法は、事前に定義されたセマンティック概念のセットを使用して、ディープニューラルネットワークモデル予測を説明することを目的としている。
その人気にもかかわらず、文学によって十分に理解され、明瞭化されていない限界に悩まされている。
概念に基づく説明において、よく見過ごされる3つの要因を分析した。
論文 参考訳(メタデータ) (2022-07-20T01:59:39Z) - SegDiscover: Visual Concept Discovery via Unsupervised Semantic
Segmentation [29.809900593362844]
SegDiscoverは、監視なしで複雑なシーンを持つデータセットから意味論的に意味のある視覚概念を発見する新しいフレームワークである。
提案手法は, 生画像から概念プリミティブを生成し, 自己教師付き事前学習エンコーダの潜在空間をクラスタリングし, ニューラルネットワークのスムーズ化により概念の洗練を図る。
論文 参考訳(メタデータ) (2022-04-22T20:44:42Z) - Sparse Subspace Clustering for Concept Discovery (SSCCD) [1.7319807100654885]
概念は高いレベルの人間の理解の鍵となる構成要素である。
局所帰属法では、サンプル間のコヒーレントモデル挙動を特定できない。
隠れた特徴層の低次元部分空間として、新しい概念の定義を提唱した。
論文 参考訳(メタデータ) (2022-03-11T16:15:48Z) - Unsupervised Learning of Compositional Energy Concepts [70.11673173291426]
本稿では,概念を別個のエネルギー関数として発見し,表現するCOMETを提案する。
Cometは、統一されたフレームワークの下でのオブジェクトだけでなく、グローバルな概念も表現します。
論文 参考訳(メタデータ) (2021-11-04T17:46:12Z) - Formalising Concepts as Grounded Abstractions [68.24080871981869]
このレポートは、表現学習が生データから概念を誘導する方法を示しています。
このレポートの主な技術的目標は、表現学習のテクニックが概念空間の格子理論的定式化とどのように結婚できるかを示すことである。
論文 参考訳(メタデータ) (2021-01-13T15:22:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。