論文の概要: GEAR: Generative Expansion and Real Anchoring for Two-Stage Distillation of Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2608.18849v2
• Date: Tue, 25 Aug 2026 08:47:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:33.700843
• Title: GEAR: Generative Expansion and Real Anchoring for Two-Stage Distillation of Tabular Foundation Models
• Title（参考訳）: GEAR: タブラル基礎モデルの2段階蒸留における生成的拡張と実アンカリング
• Authors: Qi Qin, Jiajie Zhu, Dali Chen, Yuzhao Zhang, Jia-Xing Han, Peng Zhang, Ying Yan, Yifan Sun, Yu Su,
• Abstract要約: タブラル基礎モデル(TFM)は、コンテキスト内学習によって強いパフォーマンスを達成するが、コンテキストに依存した推論により、大規模なデプロイメントを妨げている。 GEAR(emphGenerative Expansion and Real AnchoringAUC)は,TFMを軽量またはツリーベースの予測器に蒸留し,コモディティCPU上に展開可能なモジュール型2段階のフレームワークである。
• 参考スコア（独自算出の注目度）: 17.715101408778885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular foundation models (TFMs) achieve strong performance through in-context learning, but context-dependent inference imposes substantial latency and memory costs, hindering large-scale deployment. We propose GEAR (\emph{Generative Expansion and Real Anchoring}), a modular two-stage framework that distills TFMs into lightweight MLP or tree-based predictors that can be deployed on commodity CPUs. Stage 1 uses synthetic covariates solely as teacher-query locations and trains the student on soft TFM targets, expanding coverage beyond observed rows. Stage 2 re-anchors the student to the target distribution using real labels and out-of-fold teacher predictions, whitch avoids self-labeling leakage. We further derive a risk certificate characterizing the trade-off between generated-query volume and generator fidelity. Experiments on TALENT and TabArena demonstrate the broad applicability of GEAR. Two-stage MLPs outperform supervised MLPs by 1.81--2.00 AUC points on binary tasks and 1.19--1.35 points on multiclass tasks, with additional gains over real-data-only distillation of 1.76--2.19 and 2.09--2.40 points, respectively. On binary tasks, the gains also transfer to LightGBM and XGBoost, and all three student families outperform CatBoost, the strongest non-TFM baseline, in mean AUC. Ablations show gains beyond longer training or alternative warm starts, greater stability from staged than mixed optimization, and generator-dependent diminishing returns as query volume increases. Finally, GEAR reduces median inference time by 57--2866 times and peak prediction memory by 1.9--3.3 times, while retaining higher AUC than matched supervised baselines.
• Abstract（参考訳）: タブラル基礎モデル(TFM)は、コンテキスト内学習を通じて強力なパフォーマンスを達成するが、コンテキスト依存推論は、大幅なレイテンシとメモリコストを課し、大規模なデプロイメントを妨げている。 GEAR(\emph{Generative Expansion and Real Anchoring})は,TFMを軽量MLPまたはツリーベースの予測器に蒸留し,コモディティCPU上に展開可能なモジュール型2段階のフレームワークである。 ステージ1は、教師のクエリーの場所としてのみ合成共変体を使用し、ソフトなTFMターゲットで学生を訓練し、観察された列を超えてカバー範囲を広げる。 ステージ2では、実際のラベルと教師の予測を用いて、学生をターゲット分布に再アンカーし、自己ラベルの漏洩を避ける。 さらに、生成されたクエリボリュームとジェネレータの整合性の間のトレードオフを特徴付けるリスク証明書を導出する。 TALENTとTabArenaの実験は、GEARの幅広い適用性を示している。 2段階のMLPは、バイナリタスクで1.81--2.00 AUC点、マルチクラスタスクで1.19--1.35点、実データのみの蒸留で1.76--2.19点、2.09--2.40点をそれぞれ上回っている。 二進法ではLightGBMとXGBoostに移行し、3人の生徒の全員がAUCで最強の非TFMベースラインであるCatBoostを上回りました。 アブレーションは、長いトレーニングや代替のウォームスタートを超えて、混合最適化よりもステージドからの安定性が向上し、クエリボリュームが増加するにつれて、ジェネレータ依存のリターンが低下することを示している。 最後に、GEARは中央値の推論時間を57-2866倍、ピーク予測メモリを1.9--3.3倍に削減し、AUCは教師付きベースラインよりも高い値を維持する。

関連論文リスト

• Tevatron Meets Megatron: Expert-Parallel LLM Reranker Training on an Academic Budget [72.7352550413971]
  私たちはMegatron-CoreトレーニングバックエンドをTevatronに統合したTevatron 3.0を紹介します。 MegatronはFSDPのリランカ品質とトレーニング効率を同等のデータ並列設定で比較した。 その結果,MoEリランカは高密度の8B品質と一致し,パラメータの半数以下を活性化し,推論スループットを著しく向上することがわかった。
  論文  参考訳（メタデータ） (2026-08-02T00:55:47Z)
• GIRL: Generative Imagination Reinforcement Learning via Information-Theoretic Hallucination Control [0.0]
  GIRL(Generative Imagination Reinforcement Learning)は、この障害モードに2つの重要なコンポーネントで対処する潜在的世界モデルフレームワークである。 GIRLは、DreamerV3に対するタスク間の遅延ロールアウトドリフトを38～61%削減し、リターンを改善し、長距離タスクでの環境相互作用を少なくする。 蒸留前の変種はオーバーヘッドを減らし、フルモデルに対する計算効率を向上させる。
  論文  参考訳（メタデータ） (2026-04-08T17:14:21Z)
• Training a Student Expert via Semi-Supervised Foundation Model Distillation [14.605642634292655]
  我々は、事前学習された視覚基盤モデルをコンパクトな専門家に圧縮する半教師付き知識蒸留フレームワークを導入する。 この枠組みは,(1)対照校正による自己学習によるVFM(s)のドメイン適応,(2)統合された多目的損失による知識伝達,(3)残留する疑似ラベルバイアスを軽減するための学生の洗練,の3段階に展開する。
  論文  参考訳（メタデータ） (2026-04-04T19:45:25Z)
• Language-based Trial and Error Falls Behind in the Era of Experience [50.503828360874536]
  大きな言語モデル(LLM)は、言語ベースのエージェントタスクでは優れているが、見つからない非言語環境への適用性は依然として限られている。 本研究では,探索の禁止コストが主なボトルネックであることを示す。 セマンティック・エクスプロイトから探索を分離する新しいフレームワークであるSCOUTを提案する。
  論文  参考訳（メタデータ） (2026-01-29T14:08:41Z)
• TSPulse: Dual Space Tiny Pre-Trained Models for Rapid Time-Series Analysis [12.034816114258803]
  TSPulseは、1Mパラメータしか持たない超コンパクトな時系列事前訓練モデルである。 分類、異常検出、インプット、検索タスクで強く機能する。 結果は100Mパラメータ(既存のSOTAモデルより10-100倍小さい)で達成される。
  論文  参考訳（メタデータ） (2025-05-19T12:18:53Z)
• TinyR1-32B-Preview: Boosting Accuracy with Branch-Merge Distillation [19.938309176933902]
  本稿では, モデル圧縮を2相で促進するブランチ・マージ蒸留法を提案する。 我々は,DeepSeek-R1を教師とし,DeepSeek-R1-Distill-Qwen-32Bを学生として蒸留アプローチを検証する。 合併したTinyR1-32B-Previewは、複数のベンチマークでDeepSeek-R1-Distill-Qwen-32Bを上回った。
  論文  参考訳（メタデータ） (2025-03-06T16:25:53Z)
• Towards Economical Inference: Enabling DeepSeek's Multi-Head Latent Attention in Any Transformer-based LLMs [92.7279890407059]
  MLA(Multi-head Latent Attention)は、効率的かつ経済的推論を保証するために設計された革新的なアーキテクチャである。 本稿では,マルチヘッドアテンションからMLAへの移行のための,データ効率の良いファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:50:42Z)
• S2-Attention: Hardware-Aware Context Sharding Among Attention Heads [49.1454481007861]
  スパースアテンションは、コンテキスト内のトークンのサブセットに選択的に出席する。 スパース・アテンションが今日の大規模言語モデルでモデルの品質を維持することができるかどうかは不明だ。 本稿では,Sparsely-Sharded(S2) attention, a Triton library that provide kernel optimization for sparse attention for sparse attention to customizable per-head and per-context-range levels。
  論文  参考訳（メタデータ） (2024-07-25T00:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。