論文の概要: Structure Learning in Inverse Ising Problems Using $\ell_2$-Regularized Linear Estimator

• arxiv url: http://arxiv.org/abs/2008.08342v2
• Date: Tue, 24 Nov 2020 02:29:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 09:09:03.580756
• Title: Structure Learning in Inverse Ising Problems Using $\ell_2$-Regularized Linear Estimator
• Title（参考訳）: $\ell_2$-regularized Linear Estimator を用いた逆イジング問題の構造学習
• Authors: Xiangming Meng and Tomoyuki Obuchi and Yoshiyuki Kabashima
• Abstract要約: モデルミスマッチにも拘わらず,正則化を伴わずに線形回帰を用いてネットワーク構造を完璧に識別できることを示す。 本稿では,2段階推定器を提案する。第1段階では隆起回帰を用い,比較的小さな閾値で推算を行う。 適切な正規化係数としきい値を持つ推定器は、0M/N1$でもネットワーク構造の完全同定を実現する。
• 参考スコア（独自算出の注目度）: 8.89493507314525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The inference performance of the pseudolikelihood method is discussed in the framework of the inverse Ising problem when the $\ell_2$-regularized (ridge) linear regression is adopted. This setup is introduced for theoretically investigating the situation where the data generation model is different from the inference one, namely the model mismatch situation. In the teacher-student scenario under the assumption that the teacher couplings are sparse, the analysis is conducted using the replica and cavity methods, with a special focus on whether the presence/absence of teacher couplings is correctly inferred or not. The result indicates that despite the model mismatch, one can perfectly identify the network structure using naive linear regression without regularization when the number of spins $N$ is smaller than the dataset size $M$, in the thermodynamic limit $N\to \infty$. Further, to access the underdetermined region $M < N$, we examine the effect of the $\ell_2$ regularization, and find that biases appear in all the coupling estimates, preventing the perfect identification of the network structure. We, however, find that the biases are shown to decay exponentially fast as the distance from the center spin chosen in the pseudolikelihood method grows. Based on this finding, we propose a two-stage estimator: In the first stage, the ridge regression is used and the estimates are pruned by a relatively small threshold; in the second stage the naive linear regression is conducted only on the remaining couplings, and the resultant estimates are again pruned by another relatively large threshold. This estimator with the appropriate regularization coefficient and thresholds is shown to achieve the perfect identification of the network structure even in $0<M/N<1$. Results of extensive numerical experiments support these findings.
• Abstract（参考訳）: また, $\ell_2$-regularized (ridge) 線形回帰を用いた場合の逆イジング問題の枠組みにおいて擬似類似化法の推論性能について考察した。 このセットアップは、データ生成モデルが推論モデルと異なる状況、すなわちモデルミスマッチ状況について理論的に調査するために導入される。 教師結合が疎いと仮定した教師/学生のシナリオでは、教師結合の存在/存在が正しく推測されているか否かに特化して、レプリカ法とキャビティ法を用いて分析を行う。 その結果、モデルミスマッチにも拘わらず、N$のスピン数がデータセットサイズ$M$よりも小さい場合、正規化なしで単純線形回帰を用いてネットワーク構造を完璧に識別できることがわかった。 さらに、未決定領域である$M < N$にアクセスするために、$\ell_2$正規化の効果を調べ、全ての結合推定値にバイアスが現れることを確認し、ネットワーク構造の完全同定を防止する。 しかし, 擬似微分法で選択された中心スピンからの距離が大きくなるにつれて, 偏差は指数関数的に急速に崩壊することがわかった。 この結果に基づき,2段階推定器を提案する。第1段階では隆起回帰を用いて比較的小さなしきい値で推定し,第2段階では負の線形回帰は残りの結合にのみ実行し,その結果は比較的大きなしきい値で再度計算する。 適切な正規化係数としきい値を持つ推定器は、$0<M/N<1$であっても、ネットワーク構造の完全同定を実現する。 広範な数値実験の結果がこれらの発見を支持している。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Analysis of the expected $L_2$ error of an over-parametrized deep neural network estimate learned by gradient descent without regularization [7.977229957867868]
  近年の研究では、正規化された経験的リスクに勾配降下を適用して学習した過度パラメータ化されたディープニューラルネットワークによって定義される推定値が、普遍的に一貫していることが示されている。 本稿では、同様の結果を得るために正規化項は必要ないことを示す。
  論文  参考訳（メタデータ） (2023-11-24T17:04:21Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
  ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。 我々は,頑健な期待回帰(退職)を提案し,研究する。 提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
  論文  参考訳（メタデータ） (2022-12-11T18:03:12Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Regularization Matters: A Nonparametric Perspective on Overparametrized Neural Network [20.132432350255087]
  タンジェント降下(GD)によってトレーニングされた過度にパラメータ化されたニューラルネットワークは、任意のトレーニングデータを確実に過度に適合させることができる。 本稿では、過度にパラメータ化されたニューラルネットワークが、ランダムノイズの存在下での真のターゲット関数をいかに回復するかを考察する。
  論文  参考訳（メタデータ） (2020-07-06T01:02:23Z)
• The Generalized Lasso with Nonlinear Observations and Generative Priors [63.541900026673055]
  我々は、幅広い測定モデルで満たされるガウス下測度を仮定する。 この結果から, 局所埋込特性を仮定して, 均一回復保証まで拡張できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-22T16:43:35Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。