論文の概要: Selecting Feature Interactions for Generalized Additive Models by Distilling Foundation Models

• arxiv url: http://arxiv.org/abs/2604.13332v1
• Date: Tue, 14 Apr 2026 22:37:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.321243
• Title: Selecting Feature Interactions for Generalized Additive Models by Distilling Foundation Models
• Title（参考訳）: 基礎モデルの蒸留による一般化付加モデルの特徴的相互作用の選択
• Authors: Jingyun Jia, Chandan Singh, Rich Caruana, Ben Lengerich,
• Abstract要約: 一般化加法モデル(GAM)は、高次効果や文脈依存効果を欠く可能性のある相互作用を選択する手順に依存することが多い。 この課題に対処するために,表層基礎モデルとポストホック蒸留法を利用したタブディスティルを提案する。 以上の結果から,TabDistillは相互作用発見,高容量モデルのブリッジ,解釈可能な付加的フレームワークのための効果的なデータ駆動型ガイドとして機能することが示唆された。
• 参考スコア（独自算出の注目度）: 10.044939709126007
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Identifying meaningful feature interactions is a central challenge in building accurate and interpretable models for tabular data. Generalized additive models (GAMs) have shown great success at modeling tabular data, but often rely on heuristic procedures to select interactions, potentially missing higher-order or context-dependent effects. To meet this challenge, we propose TabDistill, a method that leverages tabular foundation models and post-hoc distillation methods. Our key intuition is that tabular foundation models implicitly learn rich, adaptive feature dependencies through large-scale representation learning. Given a dataset, TabDistill first fits a tabular foundation model to the dataset, and then applies a post-hoc interaction attribution method to extract salient feature interactions from it. We evaluate these interactions by then using them as terms in a GAM. Across tasks, we find that interactions identified by TabDistill lead to consistent improvements in downstream GAMs' predictive performance. Our results suggest that tabular foundation models can serve as effective, data-driven guides for interaction discovery, bridging high-capacity models and interpretable additive frameworks.
• Abstract（参考訳）: 意味のある機能相互作用を特定することは、表データの正確で解釈可能なモデルを構築する上で、重要な課題である。 一般化加法モデル(GAM)は表形式のデータのモデリングにおいて大きな成功を収めてきたが、多くの場合、高次効果や文脈依存効果を欠くような相互作用を選択するためのヒューリスティックな手順に依存している。 この課題に対処するために,表層基礎モデルとポストホック蒸留法を利用したタブディスティルを提案する。 私たちの重要な直感は、表層モデルが大規模表現学習を通じて、豊かで適応的な機能依存を暗黙的に学習することです。 データセットが与えられたら、TabDistillはまず、データセットに表の基盤モデルに適合し、その後にポストホックインタラクション属性メソッドを適用して、それから健全な特徴インタラクションを抽出する。 我々はこれらの相互作用をGAMの用語として用いることで評価する。 タスク全体にわたって、TabDistillによって識別されるインタラクションは、下流のGAMの予測性能を一貫した改善をもたらす。 この結果から,表層基盤モデルは,相互作用発見,高容量モデルのブリッジ,解釈可能な付加的フレームワークのための効果的なデータ駆動型ガイドとして機能することが示唆された。

関連論文リスト

• Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
  時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。 微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。 モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T07:07:13Z)
• TabRep: Training Tabular Diffusion Models with a Simple and Effective Continuous Representation [16.907006955584343]
  拡散モデルはデータ生成の主要な生成モデルである。 統一された連続表現で訓練されたトレーニングアーキテクチャであるTabRepを紹介する。 この結果から,TabRepは幅広い評価スイートにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-04-07T07:44:27Z)
• MixRec: Heterogeneous Graph Collaborative Filtering [21.96510707666373]
  そこで本稿では,MixRecを用いたグラフ協調フィルタリングモデルを提案する。 本モデルでは,意図的不整合とマルチビヘイビア・モデリングを取り入れてこれを実現している。 また、自己教師付きデータ拡張の利点を適応的に探求する、新しいコントラスト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-12-18T13:12:36Z)
• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• TabDiff: a Mixed-type Diffusion Model for Tabular Data Generation [91.50296404732902]
  グラフデータの混合型分布を1つのモデルでモデル化する共同拡散フレームワークであるTabDiffを紹介する。 我々の重要な革新は、数値データと分類データのための連立連続時間拡散プロセスの開発である。 TabDiffは、既存の競合ベースラインよりも優れた平均性能を実現し、ペアワイドカラム相関推定における最先端モデルよりも最大で22.5%改善されている。
  論文  参考訳（メタデータ） (2024-10-27T22:58:47Z)
• Variable Importance Matching for Causal Inference [73.25504313552516]
  これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。 Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。 LASSO を用いて Model-to-Match フレームワークを運用する。
  論文  参考訳（メタデータ） (2023-02-23T00:43:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。