論文の概要: A Unified Approach to Learning Ising Models: Beyond Independence and
Bounded Width
- arxiv url: http://arxiv.org/abs/2311.09197v1
- Date: Wed, 15 Nov 2023 18:41:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 14:43:52.406368
- Title: A Unified Approach to Learning Ising Models: Beyond Independence and
Bounded Width
- Title（参考訳）: 学習イジングモデルへの統一的アプローチ:独立性と境界幅を超えて
- Authors: Jason Gaitonde and Elchanan Mossel
- Abstract要約: 我々はIsingモデルの基本パラメータをデータから効率的に学習する問題を再考する。
ノード単位のロジスティック回帰に基づく単純な既存手法が、いくつかの新しい設定で基盤モデルの回復に成功していることを示す。
- 参考スコア（独自算出の注目度）: 7.605563562103568
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We revisit the problem of efficiently learning the underlying parameters of
Ising models from data. Current algorithmic approaches achieve essentially
optimal sample complexity when given i.i.d. samples from the stationary measure
and the underlying model satisfies "width" bounds on the total $\ell_1$
interaction involving each node. We show that a simple existing approach based
on node-wise logistic regression provably succeeds at recovering the underlying
model in several new settings where these assumptions are violated:
(1) Given dynamically generated data from a wide variety of local Markov
chains, like block or round-robin dynamics, logistic regression recovers the
parameters with optimal sample complexity up to $\log\log n$ factors. This
generalizes the specialized algorithm of Bresler, Gamarnik, and Shah [IEEE
Trans. Inf. Theory'18] for structure recovery in bounded degree graphs from
Glauber dynamics.
(2) For the Sherrington-Kirkpatrick model of spin glasses, given
$\mathsf{poly}(n)$ independent samples, logistic regression recovers the
parameters in most of the known high-temperature regime via a simple reduction
to weaker structural properties of the measure. This improves on recent work of
Anari, Jain, Koehler, Pham, and Vuong [ArXiv'23] which gives distribution
learning at higher temperature.
(3) As a simple byproduct of our techniques, logistic regression achieves an
exponential improvement in learning from samples in the M-regime of data
considered by Dutt, Lokhov, Vuffray, and Misra [ICML'21] as well as novel
guarantees for learning from the adversarial Glauber dynamics of Chin, Moitra,
Mossel, and Sandon [ArXiv'23].
Our approach thus significantly generalizes the elegant analysis of Wu,
Sanghavi, and Dimakis [Neurips'19] without any algorithmic modification.
- Abstract（参考訳）: 我々はIsingモデルの基本パラメータをデータから効率的に学習する問題を再考する。
現在のアルゴリズムアプローチは、定常測度から与えられたサンプルと基礎となるモデルが各ノード間の合計$\ell_1$相互作用の「幅」境界を満たす場合に、本質的に最適なサンプル複雑性を達成する。
1)ブロックやラウンドロビンダイナミクスなど、様々な局所マルコフ連鎖から動的に生成されたデータによって、ロジスティック回帰は最適なサンプル複雑性を持つパラメータを最大$\log\log n$ factorまで回復する。
これは、グラスバー力学から有界次数グラフの構造回復のためのbresler, gamarnik, shah [ieee trans. inf. theory'18] の特殊アルゴリズムを一般化する。
2) スピングラスのシェリントン・カークパトリックモデルに対して、$\mathsf{poly}(n)$ 独立サンプルが与えられた場合、ロジスティック回帰は、測定値のより弱い構造特性への単純な還元により、既知の高温状態のほとんどのパラメータを復元する。
これは、Anari、Jain、Koehler、Pham、Vuong(ArXiv'23)の最近の研究を改善し、より高い温度で分布学習を行う。
3)本手法の単純な副産物として,Dutt,Lokhov,Vuffray,Misra(ICML'21)が検討したデータM-レジムからの学習が指数関数的に向上し,また,Cin,Moitra,Mossel,Sandon(ArXiv'23)の対角グラウバー力学から学習するための新たな保証が得られた。
この手法は, アルゴリズムを改良することなく, Wu, Sanghavi, Dimakis [Neurips'19] のエレガントな解析を著しく一般化する。
関連論文リスト
- Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。
シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。
実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-08-13T08:09:05Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T14:49:59Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳（メタデータ） (2022-10-05T09:17:27Z) - Git Re-Basin: Merging Models modulo Permutation Symmetries [3.5450828190071655]
提案手法は,大規模ネットワークに適合する簡単なアルゴリズムを実例で示す。
我々は、独立に訓練されたモデル間のゼロモード接続の最初のデモ(私たちの知る限り)を実演する。
また、線形モード接続仮説の欠点についても論じる。
論文 参考訳（メタデータ） (2022-09-11T10:44:27Z) - Sampling Approximately Low-Rank Ising Models: MCMC meets Variational
Methods [35.24886589614034]
一般相互作用が$J$である超キューブ上の二次定値イジングモデルを考える。
我々の一般的な結果は、低ランクのIsingモデルに対する最初のサンプリングアルゴリズムを示唆している。
論文 参考訳（メタデータ） (2022-02-17T21:43:50Z) - T-LoHo: A Bayesian Regularization Model for Structured Sparsity and
Smoothness on Graphs [0.0]
グラフ構造化データでは、構造化されたスパーシリティと滑らかさが団結する傾向にある。
グラフィカルな関係を持つ高次元パラメータに先立って提案する。
構造された空間と滑らかさを同時に検出するために使用します。
論文 参考訳（メタデータ） (2021-07-06T10:10:03Z) - Sparsely constrained neural networks for model discovery of PDEs [0.0]
本稿では,任意のスパース回帰手法を用いて,ディープラーニングに基づくサロゲートのスパースパターンを決定するモジュラーフレームワークを提案する。
異なるネットワークアーキテクチャと疎度推定器がモデル発見精度と収束性を,いくつかのベンチマーク例でどのように改善するかを示す。
論文 参考訳（メタデータ） (2020-11-09T11:02:40Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳（メタデータ） (2020-10-12T03:27:07Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳（メタデータ） (2020-10-05T20:03:13Z) - Least Squares Regression with Markovian Data: Fundamental Limits and
Algorithms [69.45237691598774]
マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。
この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。
本稿では,経験的リプレイに基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-16T04:26:50Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。