論文の概要: Statistical and structural identifiability in representation learning

• arxiv url: http://arxiv.org/abs/2603.11970v1
• Date: Thu, 12 Mar 2026 14:19:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:26.136468
• Title: Statistical and structural identifiability in representation learning
• Title（参考訳）: 表現学習における統計的・構造的識別可能性
• Authors: Walter Nelson, Marco Fumero, Theofanis Karaletsos, Francesco Locatello,
• Abstract要約: 我々は統計的識別可能性と構造的識別可能性という2つの異なる概念を定式化する。 非線形デコーダを持つモデルの表現に対して,統計的に$$-near-identifiabilityの結果が証明される。 データ生成プロセスに関する追加の仮定により、統計的識別性は構造的識別性にまで拡張される。
• 参考スコア（独自算出の注目度）: 31.990445585569688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representation learning models exhibit a surprising stability in their internal representations. Whereas most prior work treats this stability as a single property, we formalize it as two distinct concepts: statistical identifiability (consistency of representations across runs) and structural identifiability (alignment of representations with some unobserved ground truth). Recognizing that perfect pointwise identifiability is generally unrealistic for modern representation learning models, we propose new model-agnostic definitions of statistical and structural near-identifiability of representations up to some error tolerance $ε$. Leveraging these definitions, we prove a statistical $ε$-near-identifiability result for the representations of models with nonlinear decoders, generalizing existing identifiability theory beyond last-layer representations in e.g. generative pre-trained transformers (GPTs) to near-identifiability of the intermediate representations of a broad class of models including (masked) autoencoders (MAEs) and supervised learners. Although these weaker assumptions confer weaker identifiability, we show that independent components analysis (ICA) can resolve much of the remaining linear ambiguity for this class of models, and validate and measure our near-identifiability claims empirically. With additional assumptions on the data-generating process, statistical identifiability extends to structural identifiability, yielding a simple and practical recipe for disentanglement: ICA post-processing of latent representations. On synthetic benchmarks, this approach achieves state-of-the-art disentanglement using a vanilla autoencoder. With a foundation model-scale MAE for cell microscopy, it disentangles biological variation from technical batch effects, substantially improving downstream generalization.
• Abstract（参考訳）: 表現学習モデルは、内部表現に驚くほどの安定性を示す。 ほとんどの先行研究では、この安定性を単一の性質として扱うが、統計的識別可能性(実行中の表現の一貫性)と構造的識別可能性(観測されていない基底真理を持つ表現のアライメント)という2つの異なる概念として定式化している。 完全点識別性は、現代の表現学習モデルでは一般に非現実的であることを認識し、表現の統計的および構造的近距離識別性のモデルに依存しない新しい定義を、許容誤差$ε$まで提案する。 これらの定義を応用して、非線形デコーダを持つモデルの表現に対する統計的な$ε$-near-identifiabilityの結果を証明し、eg生成前訓練変圧器(GPT)における最終層表現を超えた既存の識別可能性理論を、(masked)オートエンコーダ(MAE)や教師付き学習者を含む幅広いモデルの中間表現のほぼ同一性へと一般化する。 これらのより弱い仮定は、より弱い識別可能性を示すが、独立成分分析(ICA)は、このクラスのモデルの残りの線形曖昧性の多くを解決し、我々の近距離識別可能性主張を実証的に検証し、測定できることが示される。 データ生成プロセスに関する追加の仮定により、統計的識別性は構造的識別性にまで拡張され、非絡み合いの単純で実践的なレシピが生み出される。 合成ベンチマークでは,バニラオートエンコーダを用いて最先端のアンタングル化を実現する。 細胞顕微鏡のための基礎モデルスケールのMAEにより、技術的バッチ効果から生物学的変異を解き、下流の一般化を大幅に改善する。

関連論文リスト

• Disentangled representations via score-based variational autoencoders [21.955536401578616]
  マルチスケール推論のためのスコアベースオートエンコーダ(SAMI)を提案する。 SAMIは、基礎となる拡散過程のスコアベースのガイダンスを通じて表現を学ぶ、原則化された目的を定式化する。 最小限の追加訓練で事前学習した拡散モデルから有用な表現を抽出することができる。
  論文  参考訳（メタデータ） (2025-12-18T23:42:10Z)
• MASCOTS: Model-Agnostic Symbolic COunterfactual explanations for Time Series [4.664512594743523]
  モデルに依存しない方法で有意義で多様な対実観測を生成するMASCOTSを導入する。 シンボリックな特徴空間で操作することで、MASCOTSは元のデータとモデルへの忠実さを維持しながら解釈可能性を高める。
  論文  参考訳（メタデータ） (2025-03-28T12:48:12Z)
• The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
  トークン化は、NLPパイプラインにおける重要なステップである。 NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。 本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
  論文  参考訳（メタデータ） (2024-07-16T11:12:28Z)
• Identifiable Exchangeable Mechanisms for Causal Structure and Representation Learning [54.69189620971405]
  IEM(Identible Exchangeable Mechanisms)と呼ばれる,表現と構造学習のための統合フレームワークを提供する。 IEMは、交換可能な非i.d.データにおける因果構造同定に必要な条件を緩和する新しい洞察を提供する。 また、認識可能な表現学習における双対性条件の存在を実証し、新たな識別可能性結果をもたらす。
  論文  参考訳（メタデータ） (2024-06-20T13:30:25Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Leveraging Task Structures for Improved Identifiability in Neural Network Representations [31.863998589693065]
  教師あり学習における識別可能性の理論を,タスクの分布にアクセスできる結果を考慮して拡張する。 一般マルチタスク回帰設定において線形識別性が達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-06-26T17:16:50Z)
• Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
  因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。 この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。 実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
  論文  参考訳（メタデータ） (2020-08-02T11:19:36Z)
• On Linear Identifiability of Learned Representations [26.311880922890843]
  表現学習の文脈における識別可能性について検討する。 微分モデルの大きな族は、函数空間において、線形不確定性まで識別可能であることを示す。 我々は,線形識別可能性の十分な条件を導出し,実世界のシミュレーションデータと実世界のデータの両方で結果に対する実証的支援を提供する。
  論文  参考訳（メタデータ） (2020-07-01T23:33:37Z)
• ICE-BeeM: Identifiable Conditional Energy-Based Deep Models Based on Nonlinear ICA [11.919315372249802]
  確率モデルの同定可能性理論を考察する。 我々は,独立に修飾されたコンポーネント分析の枠組みにおけるコンポーネントの推定に,我々のモデルを利用できることを示す。
  論文  参考訳（メタデータ） (2020-02-26T14:43:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。