論文の概要: Beyond Black-Box Predictions: Identifying Marginal Feature Effects in Tabular Transformer Networks

• arxiv url: http://arxiv.org/abs/2504.08712v1
• Date: Fri, 11 Apr 2025 17:23:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:20:06.554229
• Title: Beyond Black-Box Predictions: Identifying Marginal Feature Effects in Tabular Transformer Networks
• Title（参考訳）: ブラックボックス予測を超える: タブラル変圧器ネットワークにおける正弦波特徴効果の同定
• Authors: Anton Thielmann, Arik Reuter, Benjamin Saefken,
• Abstract要約: 本稿では,限界特徴効果の同定を目的とした変圧器ネットワークの適応性を提案する。 我々のアブレーション研究は、複雑な特徴相互作用の中でも、提案モデルがこれらの効果を効率的に検出することを示した。 モデルの予測能力は、いくつかの解釈可能なブラックボックスモデルと比較し、ブラックボックスのパフォーマンスと互換性を維持しつつ、ブラックボックスのパフォーマンスを一致させることができることを確かめる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In recent years, deep neural networks have showcased their predictive power across a variety of tasks. Beyond natural language processing, the transformer architecture has proven efficient in addressing tabular data problems and challenges the previously dominant gradient-based decision trees in these areas. However, this predictive power comes at the cost of intelligibility: Marginal feature effects are almost completely lost in the black-box nature of deep tabular transformer networks. Alternative architectures that use the additivity constraints of classical statistical regression models can maintain intelligible marginal feature effects, but often fall short in predictive power compared to their more complex counterparts. To bridge the gap between intelligibility and performance, we propose an adaptation of tabular transformer networks designed to identify marginal feature effects. We provide theoretical justifications that marginal feature effects can be accurately identified, and our ablation study demonstrates that the proposed model efficiently detects these effects, even amidst complex feature interactions. To demonstrate the model's predictive capabilities, we compare it to several interpretable as well as black-box models and find that it can match black-box performances while maintaining intelligibility. The source code is available at https://github.com/OpenTabular/NAMpy.
• Abstract（参考訳）: 近年、ディープニューラルネットワークは様々なタスクにまたがって予測能力を見せている。 自然言語処理以外にも、トランスフォーマーアーキテクチャは表形式のデータ問題に対処する上で効率的であることが証明されており、これらの領域で以前は支配的な勾配に基づく決定木に挑戦している。 しかし、この予測力は、深い表層変圧器ネットワークのブラックボックスの性質において、Marginal特徴効果はほぼ完全に失われる。 古典的統計回帰モデルの加法性制約を用いる別のアーキテクチャは、知的な限界特徴効果を維持することができるが、より複雑なモデルに比べて予測力に劣ることが多い。 そこで本研究では,限界特徴効果の同定を目的とした表型変圧器ネットワークの適応法を提案する。 我々は, 限界特徴効果を正確に同定できる理論的正当性を示し, 複雑な特徴相互作用中であっても, 提案モデルがこれらの効果を効率的に検出できることを検証した。 モデルの予測能力を示すために,複数の解釈可能なブラックボックスモデルと比較し,ブラックボックスの性能に適合することを示す。 ソースコードはhttps://github.com/OpenTabular/NAMpyで入手できる。

関連論文リスト

• Towards Precision in Bolted Joint Design: A Preliminary Machine Learning-Based Parameter Prediction [0.0]
  ボルト接合部は、構造的整合性と信頼性を維持するために工学的に重要である。 従来の方法では、ボルト付きジョイントの非線形挙動を捉えることができないことが多い。 本研究では、負荷容量と摩擦係数を予測するために、経験的データとフィードフォワードニューラルネットワークを組み合わせる。
  論文  参考訳（メタデータ） (2024-12-11T11:00:39Z)
• TowerDebias: A Novel Unfairness Removal Method Based on the Tower Property [0.0]
  TowerDebias(tDB)は、ブラックボックスモデルによる予測における機密属性の影響を低減するために設計された、新しい後処理手法である。 本稿では tDB に対する形式的公正性改善定理を提案し,その妥当性を回帰処理と分類処理の両方で示す。
  論文  参考訳（メタデータ） (2024-11-13T02:32:38Z)
• Gnothi Seauton: Empowering Faithful Self-Interpretability in Black-Box Transformers [21.698201509643624]
  概念に基づくネットワークのような自己解釈型モデルは、決定を人間の理解可能な概念に結びつけることによって洞察を与える。 シャプリー値のようなポストホック法は理論的には堅牢であるが、計算コストが高く、資源集約的である。 ブラックボックスモデルに対する理論的に保証された自己解釈性を提供する。
  論文  参考訳（メタデータ） (2024-10-29T07:35:33Z)
• Gaussian Mixture Models for Affordance Learning using Bayesian Networks [50.18477618198277]
  Affordancesはアクション、オブジェクト、エフェクト間の関係の基本的な記述である。 本稿では,世界を探究し,その感覚経験から自律的にこれらの余裕を学習するエンボディエージェントの問題にアプローチする。
  論文  参考訳（メタデータ） (2024-02-08T22:05:45Z)
• Black-Box Tuning of Vision-Language Models with Effective Gradient Approximation [71.21346469382821]
  ブラックボックスモデルに対するテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。 CBBTは11のダウンストリームベンチマークで広範囲に評価され、既存のブラックボックスVL適応法と比較して顕著に改善されている。
  論文  参考訳（メタデータ） (2023-12-26T06:31:28Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。