論文の概要: Disentangling Embedding Spaces with Minimal Distributional Assumptions

• arxiv url: http://arxiv.org/abs/2206.13872v1
• Date: Tue, 28 Jun 2022 10:21:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-29 12:09:24.541615
• Title: Disentangling Embedding Spaces with Minimal Distributional Assumptions
• Title（参考訳）: 最小分布仮定による埋め込み空間の分離
• Authors: Tobias Leemann, Michael Kirchhof, Yao Rong, Enkelejda Kasneci, Gjergji Kasneci
• Abstract要約: 本稿では,解離学習とICAを用いた視覚モデルの概念的説明可能性を提案する。 より広範な問題のクラスに適用可能なDA(disjoint Attributions)概念発見法を導出する。 コンポーネント分析と300以上の最先端のアンタングルモデルとの比較において、DAは安定して優れた性能を維持している。
• 参考スコア（独自算出の注目度）: 18.85180188353977
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interest in understanding and factorizing learned embedding spaces is growing. For instance, recent concept-based explanation techniques analyze a machine learning model in terms of interpretable latent components. Such components have to be discovered in the model's embedding space, e.g., through independent component analysis (ICA) or modern disentanglement learning techniques. While these unsupervised approaches offer a sound formal framework, they either require access to a data generating function or impose rigid assumptions on the data distribution, such as independence of components, that are often violated in practice. In this work, we link conceptual explainability for vision models with disentanglement learning and ICA. This enables us to provide first theoretical results on how components can be identified without requiring any distributional assumptions. From these insights, we derive the disjoint attributions (DA) concept discovery method that is applicable to a broader class of problems than current approaches but yet possesses a formal identifiability guarantee. In an extensive comparison against component analysis and over 300 state-of-the-art disentanglement models, DA stably maintains superior performance, even under varying distributions and correlation strengths.
• Abstract（参考訳）: 学習された埋め込み空間の理解と分解に関心が高まっている。 例えば、最近の概念に基づく説明手法は、解釈可能な潜在コンポーネントの観点から機械学習モデルを解析する。 このようなコンポーネントはモデルの埋め込み空間(例えば、独立成分分析(ICA)や現代の非絡み合い学習技術など)で見つける必要がある。 これらの教師なしアプローチは形式的なフレームワークを提供するが、それらはデータ生成機能へのアクセスを必要とするか、コンポーネントの独立性などのデータ分散に厳格な仮定を課すかのどちらかである。 本研究は,視覚モデルの概念説明可能性と異方性学習とicaをリンクする。 これにより、分布的な仮定を必要とせずに、コンポーネントの特定方法に関する最初の理論的結果が得られる。 これらの知見から、現在のアプローチよりも幅広い種類の問題に適用できるが、形式的な識別可能性保証を持っているdisjoint attributions(da)概念発見法を導出する。 コンポーネント分析と300以上の最先端の異方性モデルとの広範な比較において、daは、分布や相関強度が変化しても、安定して優れた性能を維持する。

関連論文リスト

• OmniPrism: Learning Disentangled Visual Concept for Image Generation [57.21097864811521]
  創造的な視覚概念の生成は、しばしば関連する結果を生み出すために参照イメージ内の特定の概念からインスピレーションを引き出す。 我々は,創造的画像生成のための視覚的概念分離手法であるOmniPrismを提案する。 提案手法は,自然言語で案内される不整合概念表現を学習し,これらの概念を組み込むために拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2024-12-16T18:59:52Z)
• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• How to Blend Concepts in Diffusion Models [48.68800153838679]
  近年の手法は複数の潜在表現とその関連性を利用しており、この研究はさらに絡み合っている。 我々のゴールは、潜在空間における操作が根底にある概念にどのように影響するかを理解することです。 我々の結論は、宇宙操作によるブレンドの概念は可能であるが、最良の戦略はブレンドの文脈に依存する。
  論文  参考訳（メタデータ） (2024-07-19T13:05:57Z)
• Estimation of Concept Explanations Should be Uncertainty Aware [39.598213804572396]
  概念説明(Concept Explanations)と呼ばれる特定の概念について研究し、人間の理解可能な概念を用いてモデルを解釈することを目的としている。 簡単な解釈で人気があるが、概念的な説明は騒々しいことが知られている。 本稿では,これらの問題に対処する不確実性を考慮したベイズ推定手法を提案する。
  論文  参考訳（メタデータ） (2023-12-13T11:17:27Z)
• Implicit Concept Removal of Diffusion Models [92.55152501707995]
  テキスト・ツー・イメージ(T2I)拡散モデルはしばしば、透かしや安全でない画像のような望ましくない概念を不注意に生成する。 幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
  論文  参考訳（メタデータ） (2023-10-09T17:13:10Z)
• COPEN: Probing Conceptual Knowledge in Pre-trained Language Models [60.10147136876669]
  概念的知識は人間の認知と知識基盤の基本である。 既存の知識探索作業は、事前訓練された言語モデル(PLM)の事実知識のみに焦点を当て、概念知識を無視する。 PLMが概念的類似性によってエンティティを編成し、概念的特性を学習し、コンテキスト内でエンティティを概念化するかどうかを調査する3つのタスクを設計する。 タスクのために、393のコンセプトをカバーする24kのデータインスタンスを収集、注釈付けします。
  論文  参考訳（メタデータ） (2022-11-08T08:18:06Z)
• Concept Activation Regions: A Generalized Framework For Concept-Based Explanations [95.94432031144716]
  既存の手法では、概念を説明する例は、ディープニューラルネットワークの潜伏空間の一定の方向にマッピングされていると仮定している。 そこで本研究では,DNNの潜在空間において,異なるクラスタに分散した概念例を提案する。 この概念活性化領域(CAR)は、グローバルな概念に基づく説明と局所的な概念に基づく特徴の重要性をもたらす。
  論文  参考訳（メタデータ） (2022-09-22T17:59:03Z)
• Overlooked factors in concept-based explanations: Dataset choice, concept learnability, and human capability [25.545486537295144]
  概念に基づく解釈可能性法は、事前に定義されたセマンティック概念のセットを使用して、ディープニューラルネットワークモデル予測を説明することを目的としている。 その人気にもかかわらず、文学によって十分に理解され、明瞭化されていない限界に悩まされている。 概念に基づく説明において、よく見過ごされる3つの要因を分析した。
  論文  参考訳（メタデータ） (2022-07-20T01:59:39Z)
• SegDiscover: Visual Concept Discovery via Unsupervised Semantic Segmentation [29.809900593362844]
  SegDiscoverは、監視なしで複雑なシーンを持つデータセットから意味論的に意味のある視覚概念を発見する新しいフレームワークである。 提案手法は, 生画像から概念プリミティブを生成し, 自己教師付き事前学習エンコーダの潜在空間をクラスタリングし, ニューラルネットワークのスムーズ化により概念の洗練を図る。
  論文  参考訳（メタデータ） (2022-04-22T20:44:42Z)
• Sparse Subspace Clustering for Concept Discovery (SSCCD) [1.7319807100654885]
  概念は高いレベルの人間の理解の鍵となる構成要素である。 局所帰属法では、サンプル間のコヒーレントモデル挙動を特定できない。 隠れた特徴層の低次元部分空間として、新しい概念の定義を提唱した。
  論文  参考訳（メタデータ） (2022-03-11T16:15:48Z)
• Discovering Concepts in Learned Representations using Statistical Inference and Interactive Visualization [0.76146285961466]
  概念発見は、深層学習の専門家とモデルエンドユーザーの間のギャップを埋めるために重要である。 現在のアプローチには、手作りの概念データセットと、それを潜在空間方向に変換することが含まれる。 本研究では,複数の仮説テストに基づく意味ある概念のユーザ発見と,インタラクティブな可視化に関する2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-09T22:29:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。