論文の概要: Complete or Sparse: A Tale of Two Identifiabilities

• arxiv url: http://arxiv.org/abs/2610.20851v2
• Date: Mon, 19 Oct 2026 23:06:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.209734
• Title: Complete or Sparse: A Tale of Two Identifiabilities
• Title（参考訳）: Complete or Sparse: A Tale of Two Identifiabilities
• Abstract要約: 寸法が不十分な場合、識別性は一般的に失敗し、エンコーダは非線形となる。 次に,線形混合だけでなく,個々の潜伏変数の回復に制約を加えることが示される。 本フレームワークは非線形ICA, 圧縮センシング, ニューラルネットワークの解釈可能性を統合する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding when neural networks learn interpretable representations is central to mechanistic interpretability. We study this through identifiability: when can supervised learning recover the true latent variables underlying the data? We introduce two data generating processes distinguished by their causal direction where either labels cause latents (generative) or latents cause labels (discriminative). When the representation has at least as many dimensions as the latent space, we prove that the optimal encoders are linear in the latents. Conversely, when dimensions are insufficient, identifiability generically fails and encoders become nonlinear. We then show that additional constraints yield recovery of individual latent variables, not just linear mixtures. In the generative setting, non-negative activations and energy efficiency force each neuron to encode exactly one latent, providing a precise account of selective grandmother cell-like responses. In the discriminative setting, when latents are sparse and the true measurement matrix satisfies the spark condition, the learned encoder inherits compressed sensing structure, enabling sparse dictionary learning to perfectly recover individual latents. This constitutes, to our knowledge, the first identifiability result for undercomplete nonlinear independent component analysis. Our framework unifies nonlinear ICA, compressed sensing, and neural network interpretability, delineating exactly when representations transition from nonlinear distortions to linear representations and, under additional constraints or steps, to clean, axis-aligned codes. Theoretical predictions are validated on synthetic benchmarks and on activations drawn from vision models, large language models, and macaque inferotemporal cortex.
• Abstract（参考訳）: ニューラルネットワークが解釈可能な表現をいつ学習するかを理解することは、機械的解釈可能性の中心である。 教師付き学習はいつ,データの根底にある真の潜伏変数を回復できるのか? ラベルの因果方向によって区別される2つのデータ生成プロセスを導入し、ラベルが潜在要因(生成要因)または潜在要因(識別要因)を引き起こす。 表現がラテント空間の少なくとも多くの次元を持つとき、最適エンコーダはラテント空間において線型であることが証明される。 逆に、次元が不十分な場合、識別性は一般的に失敗し、エンコーダは非線形になる。 次に,線形混合だけでなく,個々の潜伏変数の回復に制約を加えることが示される。 生成環境では、非負の活性化とエネルギー効率は各ニューロンに正確に1つの潜伏剤をコードさせ、選択的な祖母細胞様反応の正確な説明を与える。 識別設定において、ラプタントがスパースで真の測定行列がスパーク条件を満たすと、学習エンコーダは圧縮されたセンシング構造を継承し、スパース辞書学習により個々のラプタントが完全に回復する。 これは、我々の知る限り、不完全非線形独立成分分析における最初の識別可能性の結果を構成する。 本フレームワークは非線形ICA, 圧縮センシング, ニューラルネットワークの解釈性を統一し, 非線形歪みから線形表現への表現の遷移を正確に記述し, 追加の制約やステップの下で, 軸整列符号のクリーン化を行う。 理論的予測は、人工的なベンチマークや視覚モデル、大きな言語モデル、およびマカクの側頭葉皮質から引き出されたアクティベーションで検証される。

関連論文リスト

• Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
  本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。 潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。 これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
  論文  参考訳（メタデータ） (2026-05-26T22:16:42Z)
• Bilinear autoencoders find interpretable manifolds [0.6999740786886536]
  重み空間を線形に構成し,入力非依存の幾何解析を許容する,二線形オートエンコーダを用いた二次潜水器を実装した。 実験と可視化により,多次元のジオメトリーが広く普及し,複合潜水剤がよく捕獲できることが判明した。 実際、これらのモデルは、Qwen 3.5のインタラクティブなオンラインビジュアライゼーションを通じて、多様体発見の教師なしツールとして機能する。
  論文  参考訳（メタデータ） (2026-05-09T11:16:34Z)
• A solvable high-dimensional model where nonlinear autoencoders learn structure invisible to PCA while test loss misaligns with generalization [12.791897914144378]
  本稿では,2つの潜在因子を持つトラクタブルな高次元スパイクモデルを提案する。 PCAと線形オートエンコーダは後者の回復に失敗し、最小の非線形オートエンコーダは両方を確実に抽出する。 私たちのモデルは、自己監督型テストの損失が表現品質と不整合である、抽出可能な例も提供します。
  論文  参考訳（メタデータ） (2026-02-11T09:31:29Z)
• Finding Manifolds With Bilinear Autoencoders [0.8594140167290097]
  多項式は、入力を参照せずに分析できるプリミティブとして機能する。 本稿では, 順序付け, クラスタリング, アクティベーション空間を重要視する改良について論じる。 これは、その特性を通して分析可能なラテントへの最初のステップである。
  論文  参考訳（メタデータ） (2025-10-19T13:17:14Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Learning nonparametric latent causal graphs with unknown interventions [18.6470340274888]
  潜在因果グラフが非パラメトリック同定可能な条件を確立する。 隠れ変数の数は分かっていないと仮定し、隠された変数に対して少なくとも1つの未知の介入が必要であることを示す。
  論文  参考訳（メタデータ） (2023-06-05T14:06:35Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
  柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。 合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
  論文  参考訳（メタデータ） (2023-01-02T06:16:56Z)
• Interventional Causal Representation Learning [75.18055152115586]
  因果表現学習は、低レベルの感覚データから高レベルの潜伏因子を抽出しようとする。 介入データは因果表現学習を促進するか? 介入データは、しばしば潜伏因子の支援の幾何学的シグネチャを持つことを示す。
  論文  参考訳（メタデータ） (2022-09-24T04:59:03Z)
• Weakly-Supervised Cross-Domain Adaptation for Endoscopic Lesions Segmentation [79.58311369297635]
  異なるデータセットにまたがるトランスファー可能なドメイン不変知識を探索できる,新しい弱い教師付き病巣移動フレームワークを提案する。 wasserstein quantified transferability frameworkは、広い範囲の転送可能なコンテキスト依存性を強調するために開発されている。 新規な自己監督型擬似ラベル生成器は、送信困難かつ転送容易なターゲットサンプルの両方に対して、確実な擬似ピクセルラベルを等しく提供するように設計されている。
  論文  参考訳（メタデータ） (2020-12-08T02:26:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。