論文の概要: Diffusion Models and Concept Formation

• arxiv url: http://arxiv.org/abs/2609.13047v1
• Date: Fri, 11 Sep 2026 16:43:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.815534
• Title: Diffusion Models and Concept Formation
• Title（参考訳）: 拡散モデルと概念形成
• Abstract要約: 我々は拡散モデルがCobwebと同じ計算を暗黙的に行うことを論じる。 Cobwebは離散木を漸進的に学習するのに対し、拡散モデルは連続的に補間可能な階層を1つの学習スコア場にエンコードする。 これは、拡散を概念形成の認知モデルとして再編成し、Cobwebに継続的でスケーラブルなインスタンス化を提供する。
• 参考スコア（独自算出の注目度）: 2.9491967009603255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans organize knowledge into a taxonomy of concepts with nested levels of abstraction and a \emph{basic level} at which people recognize and name objects with the least cognitive effort. Cobweb is a classic cognitive account of this ability, an incremental learner that builds a probabilistic concept hierarchy by maximizing category utility. We argue that diffusion models, although designed for image synthesis, implicitly perform the same computation. The noisy marginals of a diffusion model are Gaussian smoothings of the data distribution, and the modes of these marginals form a hierarchy that corresponds to a Cobweb tree of probabilistic prototypes in four respects. Both are hierarchical density models, both are hierarchical-Bayesian models with Gaussian prototypes, both treat categorization as score-following that reduces uncertainty, and in both a basic level emerges. We locate this basic level for a diffusion model at an intermediate noise level, where recent analyses show that the reverse process commits to the class identity of a sample. The two models differ mainly in how they represent and learn the taxonomy. Cobweb learns a discrete tree incrementally, whereas a diffusion model encodes a continuous, interpolable hierarchy in a single learned score field fit to the data distribution. We test the correspondence on MNIST and Fashion-MNIST by recovering the diffusion hierarchy through mode-finding and comparing the basic levels of the two models. This reframes diffusion as a cognitive model of concept formation and offers Cobweb a continuous, scalable instantiation.
• Abstract（参考訳）: 人間は知識を、ネストした抽象レベルを持つ概念の分類と、最も認知力の低いオブジェクトを認識して名前を付ける「emph{basic level}」に分類する。 Cobwebは、カテゴリユーティリティを最大化することで確率論的概念階層を構築するインクリメンタル学習者である、この能力の古典的な認知的説明である。 画像合成のために設計された拡散モデルは、暗黙的に同じ計算を行う。 拡散モデルの雑音的限界はデータ分布のガウス的滑らか化であり、これらの境界のモードは4つの点で確率的プロトタイプのCobwebツリーに対応する階層を形成する。 どちらも階層密度モデルであり、どちらもガウスの原型を持つ階層-ベイジアンモデルであり、どちらも不確実性を減少させるスコアフォローとして分類を扱い、両方の基本レベルが出現する。 我々は,この拡散モデルの基本レベルを中間雑音レベルに配置し,最近の解析結果から,逆過程がサンプルのクラス同一性に寄与することが示された。 2つのモデルは、主に分類学の表現と学習の仕方が異なる。 Cobwebは離散木を漸進的に学習する一方、拡散モデルはデータ分布に適合する単一の学習スコアフィールドにおいて、連続的に補間可能な階層を符号化する。 MNIST と Fashion-MNIST の対応性は,モードフィンディングによる拡散階層の復元と2つのモデルの基本レベルの比較により検証する。 これは、拡散を概念形成の認知モデルとして再編成し、Cobwebに継続的でスケーラブルなインスタンス化を提供する。

関連論文リスト

• The Interplay of Data Structure and Imbalance in the Learning Dynamics of Diffusion Models [8.547042933482645]
  スコアベース拡散モデルにおけるクラス依存学習について検討する。 これらのダイナミクスを規定する明確な階層を明らかにします。 我々は、Fashion MNISTで訓練されたU-Netモデルを用いて、理論的予測を実証的に検証する。
  論文  参考訳（メタデータ） (2026-05-07T14:44:53Z)
• Discriminative protein sequence modelling with Latent Space Diffusion [0.9187159782788576]
  本稿では, タンパク質配列表現学習の枠組みを考察し, 多様体学習と分布モデリングの課題を分解する。 本稿では,タンパク質配列自動エンコーダと遅延空間で動作する縮退拡散モデルを組み合わせた潜時空間拡散アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-03-24T11:03:57Z)
• How Compositional Generalization and Creativity Improve as Diffusion Models are Trained [82.08869888944324]
  構成規則を学習するために生成モデルに必要なサンプルはいくつあるか? ルールを学習するために、データのどのシグナルが利用されるのか? ここで紹介する階層的クラスタリング機構と物理における再正規化群との関係について論じる。
  論文  参考訳（メタデータ） (2025-02-17T18:06:33Z)
• Likelihood Training of Cascaded Diffusion Models via Hierarchical Volume-preserving Maps [19.573246885611923]
  確率的マルチスケールモデルにおける根本的な難しさを克服しさえすれば、カスケードモデルは優れた確率モデルになり得ることを示す。 主にカスケードモデルにおいて、各中間スケールは、可能性評価のために取り除くことができない余剰変数を導入している。 また、ラプラシアピラミッドとウェーブレット変換は、確率モデルにおけるベンチマークの選択における最先端の大幅な改善をもたらすことを示した。
  論文  参考訳（メタデータ） (2025-01-13T01:20:23Z)
• A Phase Transition in Diffusion Models Reveals the Hierarchical Nature of Data [51.03144354630136]
  最近の進歩は、拡散モデルが高品質な画像を生成することを示している。 我々はこの現象を階層的なデータ生成モデルで研究する。 t$の後に作用する後方拡散過程は相転移によって制御される。
  論文  参考訳（メタデータ） (2024-02-26T19:52:33Z)
• Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
  実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。 拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。 本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-02-16T16:47:21Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• Hierarchically branched diffusion models leverage dataset structure for class-conditional generation [0.6800113478497425]
  分岐拡散モデルは従来のモデルと同じ拡散過程に依存するが、階層の各分岐について別々に逆拡散を学ぶ。 いくつかのベンチマークと大規模実世界の科学データセットで分岐拡散モデルを広範囲に評価した。
  論文  参考訳（メタデータ） (2022-12-21T05:27:23Z)
• Neural Representations Reveal Distinct Modes of Class Fitting in Residual Convolutional Networks [5.1271832547387115]
  ニューラル表現の確率モデルを利用して、残余ネットワークがクラスにどのように適合するかを調べる。 調査対象モデルのクラスは均一に適合していないことがわかった。 神経表現の未発見構造は, トレーニング例の堅牢性と, 対向記憶の相関性を示す。
  論文  参考訳（メタデータ） (2022-12-01T18:55:58Z)
• OCD: Learning to Overfit with Conditional Diffusion Models [95.1828574518325]
  入力サンプルxに重みを条件付けした動的モデルを提案する。 基本モデルを x とそのラベル y 上で微調整することで得られる重みに一致することを学習する。
  論文  参考訳（メタデータ） (2022-10-02T09:42:47Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Argmax Flows and Multinomial Diffusion: Towards Non-Autoregressive Language Models [76.22217735434661]
  本稿では,Argmax FlowsとMultinomial Diffusionの2種類の分類モデルを提案する。 画像分割マップの言語モデリングとモデリングにおいて,我々のモデルが競合的に機能することを実証する。
  論文  参考訳（メタデータ） (2021-02-10T11:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。