論文の概要: Escaping the Forest: Sparse Interpretable Neural Networks for Tabular Data

• arxiv url: http://arxiv.org/abs/2410.17758v1
• Date: Wed, 23 Oct 2024 10:50:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:56:53.304172
• Title: Escaping the Forest: Sparse Interpretable Neural Networks for Tabular Data
• Title（参考訳）: 森林を脱出する: タブラルデータのためのスパース解釈可能なニューラルネットワーク
• Authors: Salvatore Raieli, Abdulrahman Altahhan, Nathalie Jeanray, Stéphane Gerart, Sebastien Vachenc,
• Abstract要約: 我々のモデルであるSparse TABular NET や sTAB-Net がツリーベースモデルよりも効果的であることを示す。 SHAPのようなポストホックメソッドよりも優れたパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Tabular datasets are widely used in scientific disciplines such as biology. While these disciplines have already adopted AI methods to enhance their findings and analysis, they mainly use tree-based methods due to their interpretability. At the same time, artificial neural networks have been shown to offer superior flexibility and depth for rich and complex non-tabular problems, but they are falling behind tree-based models for tabular data in terms of performance and interpretability. Although sparsity has been shown to improve the interpretability and performance of ANN models for complex non-tabular datasets, enforcing sparsity structurally and formatively for tabular data before training the model, remains an open question. To address this question, we establish a method that infuses sparsity in neural networks by utilising attention mechanisms to capture the features' importance in tabular datasets. We show that our models, Sparse TABular NET or sTAB-Net with attention mechanisms, are more effective than tree-based models, reaching the state-of-the-art on biological datasets. They further permit the extraction of insights from these datasets and achieve better performance than post-hoc methods like SHAP.
• Abstract（参考訳）: タブラルデータセットは生物学などの科学分野で広く使われている。 これらの分野はすでに、発見と分析を強化するためにAIメソッドを採用していますが、主に、その解釈可能性のためにツリーベースのメソッドを使用します。 同時に、人工ニューラルネットワークは、リッチで複雑な非タブラル問題に対して優れた柔軟性と深さを提供することが示されたが、パフォーマンスと解釈可能性の観点からは、表データのツリーベースモデルに遅れを取っている。 複雑な非タブラルデータセットに対するANNモデルの解釈性と性能が向上することが示されているが、モデルをトレーニングする前に表データに対して、構造的かつ形式的にスパーシを強制することは、未解決の問題である。 この問題に対処するため、我々は、グラフデータセットにおける特徴の重要性を捉えるために注意機構を利用することで、ニューラルネットワークの空間性を注入する手法を確立した。 我々のモデルであるSparse TABular NET や sTAB-Net は、木ベースのモデルよりも効果的であることを示し、生物学的データセットの最先端に到達している。 さらに、これらのデータセットから洞察を抽出し、SHAPのようなポストホックメソッドよりも優れたパフォーマンスを達成する。

関連論文リスト

• A Survey on Deep Tabular Learning [0.0]
  タブラルデータは、その不均一な性質と空間構造が欠如していることから、深層学習の独特な課題を提示する。 本調査では,早期完全接続ネットワーク(FCN)から,TabNet,SAINT,TabTranSELU,MambaNetといった先進アーキテクチャに至るまで,タブラルデータのディープラーニングモデルの進化を概観する。
  論文  参考訳（メタデータ） (2024-10-15T20:08:08Z)
• Tabular Data: Is Attention All You Need? [23.787352248749382]
  本稿では、ニューラルネットワークと、構造データ上の勾配ブースト決定木を比較した大規模な実証的研究を紹介する。 これまでの研究とは対照的に、ニューラルネットワークは決定木と競合することを示している。
  論文  参考訳（メタデータ） (2024-02-06T12:59:02Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Why do tree-based models still outperform deep learning on tabular data? [0.0]
  木をベースとしたモデルが中規模データの最先端のままであることを示す。 木系モデルとニューラルネットワーク(NN)の異なる帰納バイアスに関する実証的研究を行う。
  論文  参考訳（メタデータ） (2022-07-18T08:36:08Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• XBNet : An Extremely Boosted Neural Network [0.0]
  XBNetは、ツリーベースのモデルとニューラルネットワークのモデルを組み合わせて、新しい最適化テクニックであるBoosted Gradient Descent for Tabular Dataを使用してトレーニングされた堅牢なアーキテクチャを作成しようとしている。 本稿では,新しい最適化手法であるBoosted Gradient Descent for Tabular Dataを用いてトレーニングされた堅牢なアーキテクチャを構築するために,ツリーベースモデルとニューラルネットワークのアーキテクチャを組み合わせた新しいアーキテクチャXBNetについて述べる。
  論文  参考訳（メタデータ） (2021-06-09T17:31:50Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。