論文の概要: TabKD: Tabular Knowledge Distillation through Interaction Diversity of Learned Feature Bins

• arxiv url: http://arxiv.org/abs/2603.15481v1
• Date: Mon, 16 Mar 2026 16:12:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:58.565223
• Title: TabKD: Tabular Knowledge Distillation through Interaction Diversity of Learned Feature Bins
• Title（参考訳）: TabKD:学習した特徴ビンの相互作用の多様性による語彙的知識蒸留
• Authors: Shovon Niverd Pereira, Krishna Khadka, Yu Lei,
• Abstract要約: 本研究では,教師の意思決定境界に沿った適応的特徴ビンを学習し,インタラクションカバレッジを最大化する合成クエリを生成するTabKDを提案する。 4つのベンチマークデータセットで、TabKDは16の構成のうち14の生徒と教師の合意が最も高く、最先端のベースラインを5つ上回っている。
• 参考スコア（独自算出の注目度）: 1.8785270956629043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-free knowledge distillation enables model compression without original training data, critical for privacy-sensitive tabular domains. However, existing methods does not perform well on tabular data because they do not explicitly address feature interactions, the fundamental way tabular models encode predictive knowledge. We identify interaction diversity, systematic coverage of feature combinations, as an essential requirement for effective tabular distillation. To operationalize this insight, we propose TabKD, which learns adaptive feature bins aligned with teacher decision boundaries, then generates synthetic queries that maximize pairwise interaction coverage. Across 4 benchmark datasets and 4 teacher architectures, TabKD achieves highest student-teacher agreement in 14 out of 16 configurations, outperforming 5 state-of-the-art baselines. We further show that interaction coverage strongly correlates with distillation quality, validating our core hypothesis. Our work establishes interaction-focused exploration as a principled framework for tabular model extraction.
• Abstract（参考訳）: データフリーな知識蒸留は、プライバシに敏感な表ドメインにとって重要な、オリジナルのトレーニングデータなしでモデル圧縮を可能にする。 しかし,従来の手法では特徴的相互作用に明示的に対応していないため,予測的知識を表象モデルにエンコードする基本的な方法として,表象データではうまく動作しない。 我々は,効果的な表層蒸留の必須要件として,相互作用の多様性,特徴組合せの体系的包括的包括的包括的包括的包括的包括的包括的包括的包括的包括的包括的包括的包括的包括的包括的包括的包括的包括的包括的包括的包含的包含的包含的包含的包含的包含的包含的包含的包含的包含的包含的包含的包含的包含的包含的包含的包含的包含的包含的包含的包 この知見を運用するために,教師の意思決定境界に整合した適応的特徴ビンを学習し,相互の相互作用カバレッジを最大化する合成クエリを生成するTabKDを提案する。 4つのベンチマークデータセットと4つの教師アーキテクチャにまたがって、TabKDは16構成中14の学生と教師の合意を達成し、最先端の5つのベースラインを上回っている。 さらに、相互作用カバレッジが蒸留品質と強く相関していることを示し、コア仮説を検証した。 我々の研究は、対話に焦点を当てた探索を、表形式モデル抽出の原則的枠組みとして確立している。

関連論文リスト

• Mitra: Mixed Synthetic Priors for Enhancing Tabular Foundation Models [85.64873567417396]
  実世界のデータに対して,その多様性,特異性,および性能のために選択された合成前駆体の硬化した混合物をトレーニングしたTFMであるMitraを紹介する。 Mitraは、TabPFNv2やTabICLのような最先端のTFMを、分類と回帰のベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-24T07:15:06Z)
• TabNSA: Native Sparse Attention for Efficient Tabular Data Learning [13.110156202816112]
  TabNSAは、Native Sparse Attention(NSA)とTabMixerのバックボーンを統合する、新しいディープラーニングフレームワークである。 NSAは、トークン圧縮、選択的保存、局所的なスライディングウィンドウなど、階層的なスパークアテンション機構を採用している。 実験によると、TabNSAは最先端のディープラーニングモデルより一貫して優れている。
  論文  参考訳（メタデータ） (2025-03-12T21:13:41Z)
• A Closer Look at TabPFN v2: Understanding Its Strengths and Extending Its Capabilities [51.08999772842298]
  Tabular Prior-data Fitted Network v2 (TabPFN v2)は、さまざまな下流データセット間で、前例のないコンテキスト内学習性能を達成する。 本研究では,TabPFN v2が属性トークンをランダムに入力しても属性関係を推測可能であることを示す。 我々はTabPFN v2の制限がテスト時間分割・コンテキスト戦略によって対処できることを実証した。
  論文  参考訳（メタデータ） (2025-02-24T17:38:42Z)
• Learning Relational Tabular Data without Shared Features [30.942923807656104]
  共有機能や事前整合データを必要としない効果的なクロステーブルトレーニングを実現する新しいフレームワークを提案する。 リールは、適切に整列されたデータは、不正な整列したデータよりも損失が低いという原則で機能する。 リールは最先端の手法に比べて予測性能が26.8%向上した。
  論文  参考訳（メタデータ） (2025-02-14T12:51:07Z)
• Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
  ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。 本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。 新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
  論文  参考訳（メタデータ） (2024-03-04T08:38:56Z)
• Arithmetic Feature Interaction Is Necessary for Deep Tabular Learning [17.38478179159257]
  軽度な特徴相互作用を仮定した合成データセットを作成する。 本稿では,AMFormerと呼ばれる数値的特徴相互作用を実現する改良型トランスフォーマーアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2024-02-04T04:07:39Z)
• SwitchTab: Switched Autoencoders Are Effective Tabular Learners [16.316153704284936]
  グラフデータに対する自己教師付き表現手法であるSwitchTabを紹介する。 SwitchTabは、データペア間の相互および正常な機能を分離することで、潜伏した依存関係をキャプチャする。 その結果、微調整によるエンドツーエンド予測タスクにおいて、優れた性能を示した。 そこで我々は,SwitchTabが相互に疎結合で有意な特徴を可視化することで,説明可能な表現を生成する能力を強調した。
  論文  参考訳（メタデータ） (2024-01-04T01:05:45Z)
• Rethinking Pre-Training in Tabular Data: A Neighborhood Embedding Perspective [71.45945607871715]
  メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。 中心となる考え方は、データインスタンスを共有機能空間に埋め込むことで、各インスタンスは、近隣の固定数とそのラベルまでの距離で表現される。 101データセットの大規模な実験は、微調整の有無にかかわらず、分類タスクと回帰タスクの両方においてTabPTMの有効性を確認した。
  論文  参考訳（メタデータ） (2023-10-31T18:03:54Z)
• STUNT: Few-shot Tabular Learning with Self-generated Tasks from Unlabeled Tables [64.0903766169603]
  我々は,Unlabeled Tables (STUNT) からの自己生成タスクを作成した,数発のセミ教師付き学習のためのフレームワークを提案する。 私たちのキーとなるアイデアは、ランダムに選択された列をターゲットラベルとして扱うことで、多様なショットタスクを自己生成することです。 次に、メタラーニング手法を用いて、構築されたタスクで一般化可能な知識を学習する。
  論文  参考訳（メタデータ） (2023-03-02T02:37:54Z)
• SubTab: Subsetting Features of Tabular Data for Self-Supervised Representation Learning [5.5616364225463055]
  私たちはTabular Data(SubTab)のサブセット機能である新しいフレームワークを紹介します。 本稿では,タブラルデータ(SubTab)のサブセット機能である新しいフレームワークを提案する。 我々は、自動エンコーダ設定で、その機能の一部分からデータを再構成することで、その基盤となる表現をよりよく捉えることができると論じている。
  論文  参考訳（メタデータ） (2021-10-08T20:11:09Z)
• FIVES: Feature Interaction Via Edge Search for Large-Scale Tabular Data [106.76845921324704]
  本稿では,FIVES (Feature Interaction Via Edge Search) という新しい手法を提案する。 FIVESは、定義された特徴グラフ上のエッジを探すために、インタラクティブな特徴生成のタスクを定式化する。 本稿では,対話的特徴の探索を動機づける理論的証拠を提示する。
  論文  参考訳（メタデータ） (2020-07-29T03:33:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。