論文の概要: Iterative Feature Exclusion Ranking for Deep Tabular Learning
- arxiv url: http://arxiv.org/abs/2412.16442v1
- Date: Sat, 21 Dec 2024 02:12:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 15:57:13.073092
- Title: Iterative Feature Exclusion Ranking for Deep Tabular Learning
- Title（参考訳）: 深層学習における反復的特徴排除ランク付け
- Authors: Fathi Said Emhemed Shaninah, AbdulRahman M. A. Baraka, Mohd Halim Mohd Noor,
- Abstract要約: タブラルデータ(英: Tabular data)は、データエントリとその特徴を表現するために、行や列に情報を格納する一般的なフォーマットである。
ディープニューラルネットワークは、コンピュータビジョンやNLPを含む幅広い領域をモデリングするための主要なアプローチとなっている。
エンドツーエンドの勾配に基づく最適化を含む内部的特徴選択機構を備えた最近のモデルでは、特徴の重要性の文脈依存を考慮できない。
提案モジュールは、各特徴を入力データから反復的に除外し、その特徴が予測に与える影響を表す注意スコアを算出する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Tabular data is a common format for storing information in rows and columns to represent data entries and their features. Although deep neural networks have become the main approach for modeling a wide range of domains including computer vision and NLP, many of them are not well-suited for tabular data. Recently, a few deep learning models have been proposed for deep tabular learning, featuring an internal feature selection mechanism with end-to-end gradient-based optimization. However, their feature selection mechanisms are unidimensional, and hence fail to account for the contextual dependence of feature importance, potentially overlooking crucial interactions that govern complex tasks. In addition, they overlook the bias of high-impact features and the risk associated with the limitations of attention generalization. To address this limitation, this study proposes a novel iterative feature exclusion module that enhances the feature importance ranking in tabular data. The proposed module iteratively excludes each feature from the input data and computes the attention scores, which represent the impact of the features on the prediction. By aggregating the attention scores from each iteration, the proposed module generates a refined representation of feature importance that captures both global and local interactions between features. The effectiveness of the proposed module is evaluated on four public datasets. The results demonstrate that the proposed module consistently outperforms state-of-the-art methods and baseline models in feature ranking and classification tasks. The code is publicly available at https://github.com/abaraka2020/Iterative-Feature-Exclusion-Ranking-Module and https://github.com/mohalim/IFENet
- Abstract（参考訳）: タブラルデータ(英: Tabular data)は、データエントリとその特徴を表現するために、行や列に情報を格納する一般的なフォーマットである。
ディープニューラルネットワークはコンピュータビジョンやNLPを含む幅広い領域をモデリングする主要なアプローチとなっているが、それらの多くは表データには適していない。
近年,深層学習のための深層学習モデルがいくつか提案されている。
しかし、それらの特徴選択機構は一次元であるため、複雑なタスクを管理する重要な相互作用を見越して、特徴の重要性の文脈依存を考慮できない。
さらに、彼らは高インパクト特徴のバイアスと注意一般化の限界に関連するリスクを見落としている。
この制限に対処するため,本研究では,表データの重要度ランキングを向上する新たな反復的特徴排除モジュールを提案する。
提案モジュールは、各特徴を入力データから反復的に除外し、その特徴が予測に与える影響を表す注意スコアを算出する。
各イテレーションから注目スコアを集約することにより、提案モジュールは、機能間のグローバルな相互作用とローカルな相互作用の両方をキャプチャする、機能の重要性の洗練された表現を生成する。
提案モジュールの有効性を4つの公開データセットで評価した。
その結果,提案モジュールは特徴ランク付けや分類タスクにおいて,最先端の手法やベースラインモデルよりも一貫して優れていた。
コードはhttps://github.com/abaraka 2020/Iterative-Feature-Exclusion-Ranking-Moduleとhttps://github.com/mohalim/IFENetで公開されている。
関連論文リスト
- TabSeq: A Framework for Deep Learning on Tabular Data via Sequential Ordering [5.946579489162407]
この作業では、機能のシーケンシャルな順序付けのための新しいフレームワークであるTabSeqを紹介している。
このような機能の最適なシーケンス順序を見つけることで、ディープラーニングモデルの学習プロセスを改善することができる。
論文 参考訳（メタデータ） (2024-10-17T04:10:36Z) - A Performance-Driven Benchmark for Feature Selection in Tabular Deep
Learning [131.2910403490434]
データサイエンティストは通常、データセットにできるだけ多くの機能を集め、既存の機能から新しい機能を設計する。
既存のタブ形式の特徴選択のためのベンチマークでは、古典的な下流モデル、おもちゃの合成データセット、あるいは下流のパフォーマンスに基づいて特徴セレクタを評価していない。
変換器を含む下流ニューラルネットワーク上で評価された課題のある特徴選択ベンチマークを構築した。
また,従来の特徴選択法よりも高い性能を有するニューラルネットワークのための,Lassoのインプット・グラディエント・ベース・アナログも提案する。
論文 参考訳（メタデータ） (2023-11-10T05:26:10Z) - Causal Feature Selection via Transfer Entropy [59.999594949050596]
因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。
本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。
精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
論文 参考訳（メタデータ） (2023-10-17T08:04:45Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2023-01-30T12:38:31Z) - Interpretability with full complexity by constraining feature
information [1.52292571922932]
解釈可能性(Interpretability)は、機械学習の課題だ。
我々は、新しい角度から解釈可能性にアプローチする:モデルの複雑さを制限することなく、特徴に関する情報を制約する。
近似モデルのスペクトルから洞察を抽出する枠組みを開発する。
論文 参考訳（メタデータ） (2022-11-30T18:59:01Z) - Beyond Importance Scores: Interpreting Tabular ML by Visualizing Feature
Semantics [17.410093908967976]
機械学習(ML)モデルが批判的な意思決定に広く利用されているため、解釈可能性(interpretability)は活発な研究トピックになりつつある。
表データに使われている既存の解釈可能性の手法の多くは、特徴重要点のみを報告している。
我々は,新しいグローバル解釈可能性法であるFeature Vectorsを導入することで,この制限に対処する。
論文 参考訳（メタデータ） (2021-11-10T19:42:33Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳（メタデータ） (2021-10-31T16:15:09Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。
より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。
5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
論文 参考訳（メタデータ） (2020-07-17T15:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。