論文の概要: Selecting Feature Interactions for Generalized Additive Models by Distilling Foundation Models

• arxiv url: http://arxiv.org/abs/2604.13332v1
• Date: Tue, 14 Apr 2026 22:37:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.321243
• Title: Selecting Feature Interactions for Generalized Additive Models by Distilling Foundation Models
• Title（参考訳）: 基礎モデルの蒸留による一般化付加モデルの特徴的相互作用の選択
• Abstract要約: 一般化加法モデル(GAM)は、高次効果や文脈依存効果を欠く可能性のある相互作用を選択する手順に依存することが多い。 この課題に対処するために,表層基礎モデルとポストホック蒸留法を利用したタブディスティルを提案する。 以上の結果から,TabDistillは相互作用発見,高容量モデルのブリッジ,解釈可能な付加的フレームワークのための効果的なデータ駆動型ガイドとして機能することが示唆された。
• 参考スコア（独自算出の注目度）: 10.044939709126007
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Identifying meaningful feature interactions is a central challenge in building accurate and interpretable models for tabular data. Generalized additive models (GAMs) have shown great success at modeling tabular data, but often rely on heuristic procedures to select interactions, potentially missing higher-order or context-dependent effects. To meet this challenge, we propose TabDistill, a method that leverages tabular foundation models and post-hoc distillation methods. Our key intuition is that tabular foundation models implicitly learn rich, adaptive feature dependencies through large-scale representation learning. Given a dataset, TabDistill first fits a tabular foundation model to the dataset, and then applies a post-hoc interaction attribution method to extract salient feature interactions from it. We evaluate these interactions by then using them as terms in a GAM. Across tasks, we find that interactions identified by TabDistill lead to consistent improvements in downstream GAMs' predictive performance. Our results suggest that tabular foundation models can serve as effective, data-driven guides for interaction discovery, bridging high-capacity models and interpretable additive frameworks.
• Abstract（参考訳）: 意味のある機能相互作用を特定することは、表データの正確で解釈可能なモデルを構築する上で、重要な課題である。 一般化加法モデル(GAM)は表形式のデータのモデリングにおいて大きな成功を収めてきたが、多くの場合、高次効果や文脈依存効果を欠くような相互作用を選択するためのヒューリスティックな手順に依存している。 この課題に対処するために,表層基礎モデルとポストホック蒸留法を利用したタブディスティルを提案する。 私たちの重要な直感は、表層モデルが大規模表現学習を通じて、豊かで適応的な機能依存を暗黙的に学習することです。 データセットが与えられたら、TabDistillはまず、データセットに表の基盤モデルに適合し、その後にポストホックインタラクション属性メソッドを適用して、それから健全な特徴インタラクションを抽出する。 我々はこれらの相互作用をGAMの用語として用いることで評価する。 タスク全体にわたって、TabDistillによって識別されるインタラクションは、下流のGAMの予測性能を一貫した改善をもたらす。 この結果から,表層基盤モデルは,相互作用発見,高容量モデルのブリッジ,解釈可能な付加的フレームワークのための効果的なデータ駆動型ガイドとして機能することが示唆された。

関連論文リスト

• TS2TabPFN: Time Series Classification and Extrinsic Regression through Feature Extraction and a Tabular Foundation Model [0.7913770737379631]
  本稿では,TabPFN 2.5 と明示的特徴抽出を統合した TS2TabPFN を提案する。 TS2TabPFNは,統計的に有意なTSERタスクにおいて,最先端のモデルよりも有意に優れていることを示す。 その結果,基礎モデルと構造的特徴を組み合わせることで,単一パラダイムの制約を克服できることが示唆された。
  論文  参考訳（メタデータ） (2026-08-04T19:32:18Z)
• Tabular Foundation Model for Generative Modelling [34.3599321018728]
  生成モデリングは、教師付き予測対象のみを最適化するのではなく、与えられたデータモダリティに対して堅牢で全体論的表現学習を必要とする。 既存の表形式のファンデーションジェネレータは、合成データ品質において、強力なデータセット固有のジェネレータと一貫して一致していない。 事前訓練されたtextbfTabular textbffoundational textbfRepresentation for textbfGEneration 上に構築した TabFORGE を紹介する。
  論文  参考訳（メタデータ） (2026-05-10T08:52:28Z)
• Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
  時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。 微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。 モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T07:07:13Z)
• TabRep: Training Tabular Diffusion Models with a Simple and Effective Continuous Representation [16.907006955584343]
  拡散モデルはデータ生成の主要な生成モデルである。 統一された連続表現で訓練されたトレーニングアーキテクチャであるTabRepを紹介する。 この結果から,TabRepは幅広い評価スイートにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-04-07T07:44:27Z)
• MixRec: Heterogeneous Graph Collaborative Filtering [21.96510707666373]
  そこで本稿では,MixRecを用いたグラフ協調フィルタリングモデルを提案する。 本モデルでは,意図的不整合とマルチビヘイビア・モデリングを取り入れてこれを実現している。 また、自己教師付きデータ拡張の利点を適応的に探求する、新しいコントラスト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-12-18T13:12:36Z)
• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• TabDiff: a Mixed-type Diffusion Model for Tabular Data Generation [91.50296404732902]
  グラフデータの混合型分布を1つのモデルでモデル化する共同拡散フレームワークであるTabDiffを紹介する。 我々の重要な革新は、数値データと分類データのための連立連続時間拡散プロセスの開発である。 TabDiffは、既存の競合ベースラインよりも優れた平均性能を実現し、ペアワイドカラム相関推定における最先端モデルよりも最大で22.5%改善されている。
  論文  参考訳（メタデータ） (2024-10-27T22:58:47Z)
• A Survey on Deep Tabular Learning [0.0]
  タブラルデータは、その不均一な性質と空間構造が欠如していることから、深層学習の独特な課題を提示する。 本調査では,早期完全接続ネットワーク(FCN)から,TabNet,SAINT,TabTranSELU,MambaNetといった先進アーキテクチャに至るまで,タブラルデータのディープラーニングモデルの進化を概観する。
  論文  参考訳（メタデータ） (2024-10-15T20:08:08Z)
• A Plug-and-Play Method for Rare Human-Object Interactions Detection by Bridging Domain Gap [50.079224604394]
  textbfContext-textbfEnhanced textbfFeature textbfAment (CEFA) と呼ばれる新しいモデルに依存しないフレームワークを提案する。 CEFAは機能アライメントモジュールとコンテキスト拡張モジュールで構成される。 本手法は, 稀なカテゴリにおけるHOIモデルの検出性能を向上させるために, プラグアンドプレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2024-07-31T08:42:48Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Variable Importance Matching for Causal Inference [73.25504313552516]
  これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。 Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。 LASSO を用いて Model-to-Match フレームワークを運用する。
  論文  参考訳（メタデータ） (2023-02-23T00:43:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。