論文の概要: Linear Iterative Feature Embedding: An Ensemble Framework for Interpretable Model

• arxiv url: http://arxiv.org/abs/2103.09983v1
• Date: Thu, 18 Mar 2021 02:01:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-20 04:58:43.410982
• Title: Linear Iterative Feature Embedding: An Ensemble Framework for Interpretable Model
• Title（参考訳）: 線形反復的特徴埋め込み:解釈可能なモデルのためのアンサンブルフレームワーク
• Authors: Agus Sudjianto, Jinwen Qiu, Miaoqi Li and Jie Chen
• Abstract要約: 線形反復特徴埋め込み(LIFE)と呼ばれる解釈可能なモデルのための新しいアンサンブルフレームワークを開発した。 LIFEは、広い一層ニューラルネットワーク(NN)を正確に3つのステップに適合させることができる。 LIFEは直接訓練された単層NNを一貫して上回り、また他の多くのベンチマークモデルより上です。
• 参考スコア（独自算出の注目度）: 6.383006473302968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A new ensemble framework for interpretable model called Linear Iterative Feature Embedding (LIFE) has been developed to achieve high prediction accuracy, easy interpretation and efficient computation simultaneously. The LIFE algorithm is able to fit a wide single-hidden-layer neural network (NN) accurately with three steps: defining the subsets of a dataset by the linear projections of neural nodes, creating the features from multiple narrow single-hidden-layer NNs trained on the different subsets of the data, combining the features with a linear model. The theoretical rationale behind LIFE is also provided by the connection to the loss ambiguity decomposition of stack ensemble methods. Both simulation and empirical experiments confirm that LIFE consistently outperforms directly trained single-hidden-layer NNs and also outperforms many other benchmark models, including multi-layers Feed Forward Neural Network (FFNN), Xgboost, and Random Forest (RF) in many experiments. As a wide single-hidden-layer NN, LIFE is intrinsically interpretable. Meanwhile, both variable importance and global main and interaction effects can be easily created and visualized. In addition, the parallel nature of the base learner building makes LIFE computationally efficient by leveraging parallel computing.
• Abstract（参考訳）: 線形反復的特徴埋め込み(LIFE)と呼ばれる解釈モデルのための新しいアンサンブルフレームワークを開発した。 LIFEアルゴリズムは、幅広い単一隠れ層ニューラルネットワーク(NN)を3つのステップに正確に適合させることができる: ニューラルネットワークの線形投影によるデータセットのサブセットを定義し、データの異なるサブセットに基づいてトレーニングされた複数の狭い単一隠れ層NNから特徴を作成し、特徴を線形モデルと組み合わせる。 LIFEの背後にある理論的理論はスタックアンサンブル法の損失あいまいさ分解との接続によってもたらされる。 シミュレーションと実証実験は、LIFEが直接訓練された単一階層NNよりも一貫して優れており、また、多層フィードフォワードニューラルネットワーク(FFNN)、Xgboost、ランダムフォレスト(RF)など、多くのベンチマークモデルよりも優れていることを証明している。 広い単層NNとして、LIFEは本質的に解釈可能である。 一方、可変重要度とグローバルメインおよびインタラクション効果の両方を簡単に作成し、可視化することができる。 さらに,基本学習者の並列性により,並列計算を活用することでLIFEの計算効率が向上する。

関連論文リスト

• ParsNets: A Parsimonious Orthogonal and Low-Rank Linear Networks for Zero-Shot Learning [22.823915322924304]
  本稿では,ParsNetsと呼ばれるゼロショット学習(ZSL)において,既存の深層モデルに対して同等あるいはさらに優れた性能を実現するために,並列かつ効率的な設計手法を提案する。 局所線型性の一般化を容易にするため,クラス内サンプルに低ランク制約を課し,クラス間サンプルに高ランク制約を課すことにより,学習特徴量に対する最大マージン幾何学を構築した。 ZSLにおけるモデルの適応性と相反するオーバー/アンダーフィッティングを強化するために、サンプルワイドインジケータのセットを使用して、これらのベース線形ネットワークからスパースサブセットを選択して複合を形成する。
  論文  参考訳（メタデータ） (2023-12-15T11:32:11Z)
• Spline-based neural network interatomic potentials: blending classical and machine learning models [0.0]
  本稿では,スプラインベースMEAMポテンシャルの単純さとニューラルネットワークアーキテクチャの柔軟性を融合したMLIPフレームワークを提案する。 我々は,このフレームワークを用いて,古典的IPとMLIPの境界を探索する方法を実証する。
  論文  参考訳（メタデータ） (2023-10-04T15:42:26Z)
• Simplicity Bias in 1-Hidden Layer Neural Networks [28.755809186616702]
  最近の研究では、ニューラルネットワークが極端に単純バイアス(SB)を示すことが示されている。 我々は、SBを入力の低次元射影の関数であるネットワークとして定義する。 我々は、ImagenetteやWaterbirds-Landbirdsのような実際のデータセットで訓練されたモデルが、実際に入力の低次元投影に依存していることを示す。
  論文  参考訳（メタデータ） (2023-02-01T14:00:35Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• SPINE: Soft Piecewise Interpretable Neural Equations [0.0]
  完全に接続されたネットワークはユビキタスだが解釈不能である。 本論文は,個々の部品に設定操作を施すことにより,ピースワイズに新しいアプローチを採っている(一部)。 完全に接続されたレイヤを解釈可能なレイヤに置き換えなければならない、さまざまなアプリケーションを見つけることができる。
  論文  参考訳（メタデータ） (2021-11-20T16:18:00Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Fully differentiable model discovery [0.0]
  ニューラルネットワークに基づくサロゲートとスパースベイズ学習を組み合わせたアプローチを提案する。 我々の研究は、PINNを様々なタイプのニューラルネットワークアーキテクチャに拡張し、ニューラルネットワークベースのサロゲートをベイズパラメータ推論のリッチフィールドに接続する。
  論文  参考訳（メタデータ） (2021-06-09T08:11:23Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。