論文の概要: InterpreTabNet: Distilling Predictive Signals from Tabular Data by Salient Feature Interpretation

• arxiv url: http://arxiv.org/abs/2406.00426v1
• Date: Sat, 1 Jun 2024 12:48:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 07:05:16.078118
• Title: InterpreTabNet: Distilling Predictive Signals from Tabular Data by Salient Feature Interpretation
• Title（参考訳）: InterpreTabNet:有意な特徴解釈による語彙データからの予測信号の蒸留
• Authors: Jacob Si, Wendy Yusi Cheng, Michael Cooper, Rahul G. Krishnan,
• Abstract要約: 本稿では,注意機構をGumbel-Softmax分布からサンプリングした潜在変数としてモデル化するTabNetモデルの変種を提案する。 これにより、KLディバージェンス正規化器を用いて、注意マスクの異なる概念を学習できるようにモデルを正規化することができる。 モデルの有効性を最大化し、解釈可能性を向上させるようなスパーシティを促進することで、重複した特徴選択を防止する。
• 参考スコア（独自算出の注目度）: 7.67293014317639
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular data are omnipresent in various sectors of industries. Neural networks for tabular data such as TabNet have been proposed to make predictions while leveraging the attention mechanism for interpretability. However, the inferred attention masks are often dense, making it challenging to come up with rationales about the predictive signal. To remedy this, we propose InterpreTabNet, a variant of the TabNet model that models the attention mechanism as a latent variable sampled from a Gumbel-Softmax distribution. This enables us to regularize the model to learn distinct concepts in the attention masks via a KL Divergence regularizer. It prevents overlapping feature selection by promoting sparsity which maximizes the model's efficacy and improves interpretability to determine the important features when predicting the outcome. To assist in the interpretation of feature interdependencies from our model, we employ a large language model (GPT-4) and use prompt engineering to map from the learned feature mask onto natural language text describing the learned signal. Through comprehensive experiments on real-world datasets, we demonstrate that InterpreTabNet outperforms previous methods for interpreting tabular data while attaining competitive accuracy.
• Abstract（参考訳）: タブラルデータは、産業の様々な分野において一様である。 TabNetのような表データのためのニューラルネットワークは、解釈可能性の注意機構を活用しながら予測を行うために提案されている。 しかし、推定されたアテンションマスクはしばしば密集しており、予測信号について合理的に考えることは困難である。 そこで本研究では,注意機構をGumbel-Softmax分布からサンプリングした潜在変数としてモデル化したInterpreTabNetを提案する。 これにより、KLディバージェンス正規化器を用いて、注意マスクの異なる概念を学習できるようにモデルを正規化することができる。 モデルの有効性を最大化し、結果を予測する際に重要な特徴を決定するための解釈性を向上させることで、重複する特徴の選択を防止する。 モデルから特徴相互依存性の解釈を支援するため,大規模言語モデル(GPT-4)を用い,学習した特徴マスクから学習した信号を記述する自然言語テキストにプロンプトエンジニアリングを用いてマッピングする。 実世界のデータセットに関する総合的な実験を通じて、InterpreTabNetは、競合精度を確保しつつ、表形式のデータを解釈する従来の手法よりも優れていることを示す。

関連論文リスト

• I Bet You Did Not Mean That: Testing Semantic Importance via Betting [8.909843275476264]
  我々は、不透明モデルの予測に対する意味論的概念のグローバル(すなわち人口以上)と局所(すなわちサンプル)の統計的重要性を定式化する。 我々は最近のシーケンシャルカーネルテスト(SKIT)の考え方を用いて、概念間の重要度を誘導し、我々のフレームワークの有効性と柔軟性を示す。
  論文  参考訳（メタデータ） (2024-05-29T14:51:41Z)
• Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
  ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。 本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。 新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
  論文  参考訳（メタデータ） (2024-03-04T08:38:56Z)
• SwitchTab: Switched Autoencoders Are Effective Tabular Learners [16.316153704284936]
  グラフデータに対する自己教師付き表現手法であるSwitchTabを紹介する。 SwitchTabは、データペア間の相互および正常な機能を分離することで、潜伏した依存関係をキャプチャする。 その結果、微調整によるエンドツーエンド予測タスクにおいて、優れた性能を示した。 そこで我々は,SwitchTabが相互に疎結合で有意な特徴を可視化することで,説明可能な表現を生成する能力を強調した。
  論文  参考訳（メタデータ） (2024-01-04T01:05:45Z)
• Exploring Factors Affecting Pedestrian Crash Severity Using TabNet: A Deep Learning Approach [0.0]
  本研究では,TabNetモデルを用いた歩行者事故の重大度調査を行った。 2010年から2022年までのユタ州の包括的データセットにTabNetを適用することで、歩行者事故の深刻度に寄与する複雑な要因が明らかになった。
  論文  参考訳（メタデータ） (2023-11-29T19:44:52Z)
• Training-Free Generalization on Heterogeneous Tabular Data via Meta-Representation [67.30538142519067]
  メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。 深層ニューラルネットワークは、これらのメタ表現とデータセット固有の分類信頼度を関連付けるように訓練される。 実験により、TabPTMは、数ショットのシナリオであっても、新しいデータセットで有望なパフォーマンスを達成することを確認した。
  論文  参考訳（メタデータ） (2023-10-31T18:03:54Z)
• Interpretable Graph Neural Networks for Tabular Data [18.30325076881234]
  IGNNetは学習アルゴリズムを制約し、解釈可能なモデルを生成する。 IGNNetは最先端の機械学習アルゴリズムに匹敵するパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-08-17T12:35:02Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。