論文の概要: Sparse Neural Additive Model: Interpretable Deep Learning with Feature Selection via Group Sparsity

• arxiv url: http://arxiv.org/abs/2202.12482v1
• Date: Fri, 25 Feb 2022 03:40:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-28 14:31:27.781927
• Title: Sparse Neural Additive Model: Interpretable Deep Learning with Feature Selection via Group Sparsity
• Title（参考訳）: スパースニューラル付加モデル:グループ空間による特徴選択による解釈可能な深層学習
• Authors: Shiyun Xu, Zhiqi Bu, Pratik Chaudhari, Ian J. Barnett
• Abstract要約: ニューラル加算モデル(SNAM)の理論的性質を,非パラメトリック真理に取り組むための新しい手法を用いて検討した。 SNAMが正確なサポートリカバリ、すなわち完全な特徴選択を適切に正規化できることを示す。 さらに,SNAMの精度と効率性を検証した。
• 参考スコア（独自算出の注目度）: 22.752160137192156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interpretable machine learning has demonstrated impressive performance while preserving explainability. In particular, neural additive models (NAM) offer the interpretability to the black-box deep learning and achieve state-of-the-art accuracy among the large family of generalized additive models. In order to empower NAM with feature selection and improve the generalization, we propose the sparse neural additive models (SNAM) that employ the group sparsity regularization (e.g. Group LASSO), where each feature is learned by a sub-network whose trainable parameters are clustered as a group. We study the theoretical properties for SNAM with novel techniques to tackle the non-parametric truth, thus extending from classical sparse linear models such as the LASSO, which only works on the parametric truth. Specifically, we show that SNAM with subgradient and proximal gradient descents provably converges to zero training loss as $t\to\infty$, and that the estimation error of SNAM vanishes asymptotically as $n\to\infty$. We also prove that SNAM, similar to LASSO, can have exact support recovery, i.e. perfect feature selection, with appropriate regularization. Moreover, we show that the SNAM can generalize well and preserve the `identifiability', recovering each feature's effect. We validate our theories via extensive experiments and further testify to the good accuracy and efficiency of SNAM.
• Abstract（参考訳）: 解釈可能な機械学習は、説明可能性を維持しながら素晴らしいパフォーマンスを示した。 特に、ニューラル加法モデル(NAM)は、ブラックボックス深層学習の解釈可能性を提供し、一般化加法モデルの大規模なファミリー間で最先端の精度を達成する。 特徴選択によるNAMの強化と一般化の促進を目的として,群間隔正則化(例えば,グループLASSO)を用いたスパースニューラル加算モデル(SNAM)を提案し,各特徴をトレーニング可能なパラメータをグループとしてクラスタ化するサブネットワークで学習する。 SNAMの理論的性質を非パラメトリック真理に取り組むための新しい手法を用いて研究し、パラメトリック真理にのみ作用するLASSOのような古典的スパース線形モデルから拡張する。 具体的には,低次勾配および近位勾配降下のsnamはトレーニング損失ゼロに収束し,snamの推定誤差は非漸近的に$n\to\infty$となることを示す。 また, SNAMはLASSOと同様, 完全な特徴選択, 適切な正規化による正確なサポート回復が可能であることも証明した。 さらに,SNAMは「識別可能性」を良好に保ち,各特徴の効果を回復できることを示す。 我々は,この理論を広範な実験により検証し,SNAMの精度と効率をよりよく検証する。

関連論文リスト

• Differentiable Neural-Integrated Meshfree Method for Forward and Inverse Modeling of Finite Strain Hyperelasticity [1.290382979353427]
  本研究では,新しい物理インフォームド機械学習手法,特にニューラル積分メッシュフリー(NIM)法を拡張し,有限ひずみ問題をモデル化することを目的とする。 固有の微分可能プログラミング機能のおかげで、NIMは変分形式のニュートン・ラフソン線形化の導出を回避できる。 NIMはひずみデータから超弾性材料の不均一力学特性を同定し, 非線形材料の逆モデリングにおけるその有効性を検証する。
  論文  参考訳（メタデータ） (2024-07-15T19:15:18Z)
• Gaussian Process Neural Additive Models [3.7969209746164325]
  ランダムフーリエ特徴を用いたガウス過程の単一層ニューラルネットワーク構築を用いたニューラル付加モデル(NAM)の新たなサブクラスを提案する。 GP-NAMは凸目的関数と、特徴次元と線形に成長する訓練可能なパラメータの数が有利である。 GP-NAMは,パラメータ数を大幅に削減して,分類タスクと回帰タスクの両方において,同等あるいはより優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-19T20:29:34Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Deep Contrastive Graph Representation via Adaptive Homotopy Learning [76.22904270821778]
  Homotopyモデルは、機械学習の分野におけるさまざまな研究によって活用される優れたツールである。 マクローリン双対性を用いる新しい適応ホモトピーフレームワーク(AH)を提案する。 AHはホモトピーに基づくアルゴリズムを強化するために広く利用することができる。
  論文  参考訳（メタデータ） (2021-06-17T04:46:04Z)
• SurvNAM: The machine learning survival model explanation [5.8010446129208155]
  SurvNAMはブラックボックス機械学習サバイバルモデルの予測を説明するために提案されている。 SurvNAMの基本的な考え方は、特定の損失関数によってネットワークをトレーニングすることだ。 提案された SurvNAM の修正は、GAM の関数に対して Lasso ベースの正規化を使用することに基づいている。
  論文  参考訳（メタデータ） (2021-04-18T16:40:56Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。