論文の概要: Beyond the Black Box: Identifiable Interpretation and Control in Generative Models via Causal Minimality

• arxiv url: http://arxiv.org/abs/2512.10720v1
• Date: Thu, 11 Dec 2025 14:59:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-12 16:15:42.430103
• Title: Beyond the Black Box: Identifiable Interpretation and Control in Generative Models via Causal Minimality
• Title（参考訳）: ブラックボックスを超えて:因果最小性による生成モデルの解釈と制御
• Authors: Lingjing Kong, Shaoan Xie, Guangyi Chen, Yuewen Sun, Xiangchen Song, Eric P. Xing, Kun Zhang,
• Abstract要約: 因果的最小性は、明確な因果的解釈と頑健でコンポーネント単位で識別可能な制御を持つ拡散視覚と自己回帰言語モデルの潜在表現を許容できることを示す。 我々は階層的選択モデルのための新しい理論的枠組みを導入し、より高レベルな概念は低レベルの変数の制約された構成から生まれる。 これらの因果的基礎を持つ概念は、きめ細かいモデルステアリングのレバーとして機能し、透明で信頼性の高いシステムへの道を開く。
• 参考スコア（独自算出の注目度）: 52.57416398859353
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep generative models, while revolutionizing fields like image and text generation, largely operate as opaque black boxes, hindering human understanding, control, and alignment. While methods like sparse autoencoders (SAEs) show remarkable empirical success, they often lack theoretical guarantees, risking subjective insights. Our primary objective is to establish a principled foundation for interpretable generative models. We demonstrate that the principle of causal minimality -- favoring the simplest causal explanation -- can endow the latent representations of diffusion vision and autoregressive language models with clear causal interpretation and robust, component-wise identifiable control. We introduce a novel theoretical framework for hierarchical selection models, where higher-level concepts emerge from the constrained composition of lower-level variables, better capturing the complex dependencies in data generation. Under theoretically derived minimality conditions (manifesting as sparsity or compression constraints), we show that learned representations can be equivalent to the true latent variables of the data-generating process. Empirically, applying these constraints to leading generative models allows us to extract their innate hierarchical concept graphs, offering fresh insights into their internal knowledge organization. Furthermore, these causally grounded concepts serve as levers for fine-grained model steering, paving the way for transparent, reliable systems.
• Abstract（参考訳）: 深層生成モデルは、画像やテキスト生成などの分野に革命をもたらす一方で、主に不透明なブラックボックスとして機能し、人間の理解、制御、アライメントを妨げる。 スパースオートエンコーダ(SAE)のような手法は顕著な経験的成功を示すが、理論的な保証を欠くことが多く、主観的な洞察を危険にさらす。 我々の主な目的は、解釈可能な生成モデルのための原則的基盤を確立することである。 因果的最小性(因果的最小性)の原理は、最も単純な因果的説明を好んで、明確な因果的解釈と頑健でコンポーネント的に識別可能な制御を持つ拡散視覚と自己回帰言語モデルに潜伏した表現を与えることができることを実証する。 我々は階層的選択モデルのための新しい理論フレームワークを導入し、より高レベルな概念は低レベルの変数の制約された構成から生まれ、データ生成における複雑な依存関係をよりよく捉える。 理論的に導出された最小性条件の下では、学習された表現はデータ生成過程の真の潜伏変数と等価であることを示す。 経験的に、これらの制約を主要な生成モデルに適用することで、自然に階層的な概念グラフを抽出し、内部知識組織に新たな洞察を与えることができます。 さらに、これらの因果的基礎を持つ概念は、きめ細かいモデルステアリングのレバーとして機能し、透明で信頼性の高いシステムへの道を開いた。

関連論文リスト

• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Causally Reliable Concept Bottleneck Models [4.411356026951205]
  概念に基づくモデルは、データに表される対象現象の根底にある真の因果メカニズムを説明できない。 実世界の因果メカニズムのモデルに基づいて構成された概念のボトルネックを通じて推論を強制する概念ベースアーキテクチャのクラスである、因果信頼概念ボトルネックモデル(C$2$BMs)を提案する。 C$2$BMは、精度を維持しながら、標準不透明モデルやコンセプトベースモデルのような介入に対する応答性を改善しつつ、より解釈可能で、因果的に信頼性が高いことを示す。
  論文  参考訳（メタデータ） (2025-03-06T12:06:54Z)
• Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
  自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
  論文  参考訳（メタデータ） (2024-06-01T18:01:03Z)
• Unifying Self-Supervised Clustering and Energy-Based Models [9.3176264568834]
  自己教師付き学習と生成モデルとの間には,原則的な関連性を確立する。 シンボル接地問題の単純かつ非自明なインスタンス化に対処するために,我々の解法をニューロシンボリックな枠組みに統合できることが示される。
  論文  参考訳（メタデータ） (2023-12-30T04:46:16Z)
• Understanding Masked Autoencoders via Hierarchical Latent Variable Models [109.35382136147349]
  Masked Autoencoder (MAE) は近年,様々な視覚タスクにおいて顕著な成功を収めている。 MAEに関する興味深い経験的観察の出現にもかかわらず、理論的に原理化された理解はいまだに欠如している。
  論文  参考訳（メタデータ） (2023-06-08T03:00:10Z)
• Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
  我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。 この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。 本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-08T04:09:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。