論文の概要: Learning Discrete Concepts in Latent Hierarchical Models

• arxiv url: http://arxiv.org/abs/2406.00519v1
• Date: Sat, 1 Jun 2024 18:01:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 06:35:32.658887
• Title: Learning Discrete Concepts in Latent Hierarchical Models
• Title（参考訳）: 潜在階層モデルにおける離散概念の学習
• Authors: Lingjing Kong, Guangyi Chen, Biwei Huang, Eric P. Xing, Yuejie Chi, Kun Zhang,
• Abstract要約: 自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
• 参考スコア（独自算出の注目度）: 73.01229236386148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning concepts from natural high-dimensional data (e.g., images) holds potential in building human-aligned and interpretable machine learning models. Despite its encouraging prospect, formalization and theoretical insights into this crucial task are still lacking. In this work, we formalize concepts as discrete latent causal variables that are related via a hierarchical causal model that encodes different abstraction levels of concepts embedded in high-dimensional data (e.g., a dog breed and its eye shapes in natural images). We formulate conditions to facilitate the identification of the proposed causal model, which reveals when learning such concepts from unsupervised data is possible. Our conditions permit complex causal hierarchical structures beyond latent trees and multi-level directed acyclic graphs in prior work and can handle high-dimensional, continuous observed variables, which is well-suited for unstructured data modalities such as images. We substantiate our theoretical claims with synthetic data experiments. Further, we discuss our theory's implications for understanding the underlying mechanisms of latent diffusion models and provide corresponding empirical evidence for our theoretical insights.
• Abstract（参考訳）: 自然の高次元データ(例:画像)からの学習概念は、人間の整合性と解釈可能な機械学習モデルを構築する可能性を持っている。 その有望さにもかかわらず、この重要な課題に関する形式化と理論的洞察はいまだに不足している。 本研究では,高次元データに埋め込まれた概念の抽象レベルをエンコードする階層因果モデルを通じて関連付けられた離散因果変数として概念を定式化する。 本研究では,教師なしデータからそのような概念を学習することで,因果関係の同定を容易にする条件を定式化する。 我々の条件は、先行研究において、潜在木や多層有向非巡回グラフを超えた複雑な因果階層構造を許容し、画像のような非構造データモダリティに適した高次元連続観測変数を処理できる。 我々は、理論的な主張を合成データ実験で裏付ける。 さらに,潜在拡散モデルの基礎的メカニズムを理解する上での我々の理論の意味を考察し,我々の理論的洞察に対応する実証的証拠を提供する。

関連論文リスト

• Cross-Entropy Is All You Need To Invert the Data Generating Process [29.94396019742267]
  経験的現象は、教師付きモデルが線形な方法で変化の解釈可能な要因を学習できることを示唆している。 近年の自己教師型学習の進歩により,データ生成過程を反転させることで潜在構造を復元できることが示されている。 標準分類タスクにおいても,モデルが線形変換までの変動の基底構造因子の表現を学習することが証明された。
  論文  参考訳（メタデータ） (2024-10-29T09:03:57Z)
• Towards Compositional Interpretability for XAI [3.3768167170511587]
  本稿では,カテゴリ理論に基づくAIモデルとその解釈可能性の定義手法を提案する。 我々は、幅広いAIモデルを構成モデルと比較する。 標準の'本質的に解釈可能な'モデルを作るものは、最も明確に図式化されます。
  論文  参考訳（メタデータ） (2024-06-25T14:27:03Z)
• Relational Learning in Pre-Trained Models: A Theory from Hypergraph Recovery Perspective [60.64922606733441]
  我々は,関係学習をハイパーグラフリカバリとして形式化する数学的モデルを導入し,基礎モデル(FM)の事前学習について検討する。 我々のフレームワークでは、世界はハイパーグラフとして表現され、データはハイパーエッジからランダムなサンプルとして抽象化される。我々は、このハイパーグラフを復元するための事前学習モデル(PTM)の有効性を理論的に検証し、ミニマックスに近い最適スタイルでデータ効率を解析する。
  論文  参考訳（メタデータ） (2024-06-17T06:20:39Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Provably Learning Object-Centric Representations [25.152680199034215]
  我々は、オブジェクト中心の表現がいつ、監督なしに確実に学習できるかを分析する。 そこで本研究では, 基本構造オブジェクト表現が可逆的, 構成的推論モデルによって識別可能であることを証明した。 我々は、既存の対象中心モデルに対して、我々の理論が予測力を持つ証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-23T16:44:49Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Contrastive Topographic Models: Energy-based density models applied to the understanding of sensory coding and cortical topography [9.555150216958246]
  計算・アルゴリズム・構造・機械的レベルでの視覚脳の機能解明を支援する理論モデルを構築することの課題に対処する。
  論文  参考訳（メタデータ） (2020-11-05T16:36:43Z)
• Causal Discovery in Physical Systems from Videos [123.79211190669821]
  因果発見は人間の認知の中心にある。 本研究では,ビデオの因果発見の課題を,地層構造を監督せずにエンドツーエンドで検討する。
  論文  参考訳（メタデータ） (2020-07-01T17:29:57Z)
• A theory of independent mechanisms for extrapolation in generative models [20.794692397859755]
  生成モデルは複雑な経験的データをエミュレートするために訓練することができるが、以前は観測されていなかった環境の文脈で予測するのに役立つだろうか? 我々は、メカニズムの独立原理に基づいて、より弱い識別可能性の形式を定義することによって、この課題に対処する理論的枠組みを開発する。 おもちゃの例では、古典的な勾配降下がモデルの外挿能力を阻害し、トレーニング中にメカニズムの独立性を明示的に実施すべきであることを示唆している。
  論文  参考訳（メタデータ） (2020-04-01T01:01:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。