論文の概要: Critical Percolation as a Synthetic Data Model for Interpretability

• arxiv url: http://arxiv.org/abs/2606.20347v1
• Date: Thu, 18 Jun 2026 15:15:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.941311
• Title: Critical Percolation as a Synthetic Data Model for Interpretability
• Title（参考訳）: 解釈可能性のための合成データモデルとしての臨界パーコレーション
• Authors: Aryeh Brill, Tom Ingebretsen Carlson,
• Abstract要約: 臨界平均場パーコレーションクラスタ上で定義された階層関数からなる合成データセット群を紹介する。 分類学的階層をモデル化する潜在変数は、各データポイントのターゲット値を生成する。 ニューラルネットワークのアクティベーションから,モデルの基本トラス潜伏変数を線形に復号化できることが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks learn features that reflect the hierarchical, multi-scale structure of natural data. Synthetic datasets used to evaluate interpretability methods typically lack this structure, limiting their value as realistic toy models. To close this gap, we introduce a family of synthetic datasets consisting of hierarchical functions defined on critical mean-field percolation clusters embedded in a high-dimensional data space. The percolation data consists of sparse, low-dimensional fractal clusters with a power-law size distribution. Latent variables modeling a taxonomic hierarchy generate each data point's target value. The data model is analytically tractable with known critical exponents that fix its properties without requiring hyperparameter tuning. We leverage a mapping between percolation clusters, random trees, and additive coalescence to propose an almost linear-time algorithm to jointly sample a random tree and its hierarchical latent decomposition, enabling data generation at arbitrary scale. Using probing experiments, we find that the model's ground-truth latent variables can be linearly decoded from neural network activations. Together, sparsity, self-similarity, power-law statistics, and analytical tractability make critical percolation a principled testbed for interpretability research.
• Abstract（参考訳）: ニューラルネットワークは、自然データの階層的でマルチスケールな構造を反映した特徴を学習する。 解釈可能性の評価に用いられる合成データセットは、一般的にこの構造を欠き、現実的な玩具モデルとしての価値を制限している。 このギャップを埋めるために、我々は高次元データ空間に埋め込まれた臨界平均場パーコレーションクラスタ上に定義された階層関数からなる合成データセット群を導入する。 パーコレーションデータは, 粗い低次元フラクタルクラスターからなる。 分類学的階層をモデル化する潜在変数は、各データポイントのターゲット値を生成する。 データモデルは、ハイパーパラメータチューニングを必要とせず、その特性を修正する既知の臨界指数で解析的に抽出可能である。 本研究では, パーコレーションクラスタ, ランダムツリー, および加法的合理化のマッピングを利用して, ランダムツリーとその階層的潜在分解を共同でサンプリングし, 任意のスケールでデータ生成を可能にする, ほぼ線形時間アルゴリズムを提案する。 探索実験により,ニューラルネットワークのアクティベーションからモデルの地中真性潜伏変数を線形に復号化できることが判明した。 スパーシリティ、自己相似性、パワー・ロー統計、分析的トラクタビリティは共に、解釈可能性研究のための重要なパーコレーションを原則的にテストベッドにする。

関連論文リスト

• Active Learning with Low-Rank Structure for Data Selection [85.43185363043362]
  低ランク近似と残差に基づくサンプリングに基づく新しいデータ選択フレームワークを提案する。 平均損失がデータセット全体の平均損失を近似した$tildeOleft(k + frac1varepsilon2right)$データポイントの重み付きサブセットを選択することができることを示す。
  論文  参考訳（メタデータ） (2026-06-14T22:29:59Z)
• Synthics: Synthetic Physics-like Datasets for Machine Learning [0.18275108630751835]
  与えられた方程式コーパスから物理方程式に構造的に類似した合成回帰データセットを生成する。 生成された方程式は、研究された8つの構造的特徴の全てでコーパスと一致する。 合成データピックを調整した勾配式回帰器は、実データでは20個中6個目だ。
  論文  参考訳（メタデータ） (2026-06-04T21:20:08Z)
• Learning with Shallow Neural Networks on Cluster-Structured Features [13.080485957000464]
  浅層ニューラルネットワーク上での勾配降下学習における空間的相関が学習の複雑さに与える影響について検討した。 階層的に勾配差が変化する変種の場合、サンプルの複雑さは隠れ変数の数とともにスケールすることを示す。 合成データと実データの両方で理論的知見を実証的に検証する。
  論文  参考訳（メタデータ） (2026-05-14T15:02:24Z)
• Asymptotic Learning Curves for Diffusion Models with Random Features Score and Manifold Data [7.047721358838963]
  本研究では,デノナイジングスコアマッチングの理論的挙動について検討する。 高次元の限界におけるテスト、トレーニング、スコアの正確な表現を導出します。
  論文  参考訳（メタデータ） (2026-03-24T08:58:12Z)
• Diffusion Model for Manifold Data: Score Decomposition, Curvature, and Statistical Complexity [93.52679474816728]
  拡散モデルは、生成モデリングにおける主要なフレームワークとなっている。 本稿では,拡散モデルが構造データをどのように学習するかを,統計的複雑性とデータ幾何学的性質の影響の2つの重要な側面に焦点をあてる。 また、スコア関数の構造と多様体曲率の相互作用も強調する。
  論文  参考訳（メタデータ） (2026-03-21T04:40:19Z)
• High-dimensional Analysis of Synthetic Data Selection [44.67519806837088]
  線形モデルでは,対象分布と合成データの分布の共分散が一般化誤差に影響を与えることを示す。 興味深いことに、線形モデルからの理論的な洞察は、ディープニューラルネットワークと生成モデルに受け継がれる。
  論文  参考訳（メタデータ） (2025-10-09T12:06:31Z)
• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Learning Self-Expression Metrics for Scalable and Inductive Subspace Clustering [5.587290026368626]
  サブスペースクラスタリングは、高次元データをクラスタリングするための最先端のアプローチとして確立されている。 本研究では,シアムニューラルネットワークアーキテクチャを用いて,サブスペース親和性関数を学習するための新しい距離学習手法を提案する。 我々のモデルは、パラメータの一定数とメモリフットプリントの恩恵を受けており、かなり大きなデータセットにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-27T15:40:12Z)
• Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
  本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。 実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
  論文  参考訳（メタデータ） (2020-07-30T05:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。