論文の概要: TFM-Retouche: A Lightweight Input-Space Adapter for Tabular Foundation Models
- arxiv url: http://arxiv.org/abs/2605.06047v2
- Date: Fri, 08 May 2026 20:57:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 16:21:29.389883
- Title: TFM-Retouche: A Lightweight Input-Space Adapter for Tabular Foundation Models
- Title（参考訳）: TFM-Retouche: タブラル基礎モデルのための軽量入力空間アダプタ
- Abstract要約: 冷凍TFMバックボーンに関して,設計上アーキテクチャに依存しない軽量な入力空間残差アダプタを提案する。
TFM-Retoucheは入力空間内の小さな残差補正を学習し、入力データを事前学習されたモデルの帰納バイアスと整合させる。
- 参考スコア（独自算出の注目度）: 1.4898347682608948
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tabular foundation models (TFMs), such as TabPFN-2.6, TabICLv2, ConTextTab, Mitra, LimiX, and TabDPT, achieve strong zero-shot performance through in-context learning, but their inductive biases remain fixed at inference time. Adapting a pretrained TFM to a specific dataset or task typically requires either full fine-tuning, which is computationally expensive, or parameter-efficient tuning methods (PEFT) such as LoRA, which must be tailored to the internal architecture of each TFM. Furthermore, the evidence on whether weight-space fine-tuning improves accuracy or calibration is mixed \citep{tanna_exploring_2026,rubachev_finetuning_2025}. We introduce TFM-Retouche, a lightweight input-space residual adapter that is architecture-agnostic by design with respect to the frozen TFM backbone. TFM-Retouche learns a small residual correction in the input space to align the input data with the inductive biases of the pretrained model. The adapter is trained end-to-end through the frozen TFM, with a post-training identity guard that falls back to the unmodified TFM whenever adaptation does not help on held-out validation. On TabArena-Lite (51 datasets spanning binary classification, multiclass classification, and regression), TabICLv2-Retouche -- the framework instantiated on TabICLv2 -- is the top-ranked method on the leaderboard with light per-task tuning and ensembling, lifting aggregate Elo by +56 over the frozen TabICLv2 base and sitting on the Pareto front of predictive quality versus both training and inference time.
- Abstract（参考訳）: TabPFN-2.6、TabICLv2、ConTextTab、Mitra、LimiX、TabDPTなどのタブラル基礎モデル(TFM)は、文脈内学習を通じて強力なゼロショット性能を達成しているが、推論時には誘導バイアスが固定されている。
訓練済みのTFMを特定のデータセットやタスクに適用するには、計算コストのかかる完全な微調整か、LoRAのようなパラメータ効率のチューニング方法(PEFT)が必要となる。
さらに、重量空間微細調整により精度が向上するか、キャリブレーションが向上するかを示す証拠を混合した「citep{tanna_exploring_2026,rubachev_finetuning_2025}」とする。
TFMバックボーンの設計によりアーキテクチャに依存しない軽量な入力空間残差アダプタである TFM-Retouche を紹介する。
TFM-Retoucheは入力空間内の小さな残差補正を学習し、入力データを事前学習されたモデルの帰納バイアスと整合させる。
アダプタは凍結したTFMを通じてエンドツーエンドにトレーニングされ、トレーニング後のIDガードは修正されていないTFMにフォールバックする。
TabArena-Lite(バイナリ分類、マルチクラス分類、レグレッションを対象とする51データセット)では、TabICLv2でインスタンス化されたフレームワークであるTabICLv2-Retoucheが、軽量なタスク毎のチューニングとアンサンブルを備えたリーダボード上でトップランクのメソッドである。
関連論文リスト
- Modular TTT: Rethinking Test-Time Training as Composable Modules [35.87120372962587]
テストタイムトレーニング(TTT)は、内部学習ルールによって高速ウェイトが更新されるオンライン学習問題としてシーケンスモデリングを考察する。
既存のアプローチは通常、各変種を個別にハードコードする。
本稿では,内部学習者を有向非巡回グラフとして表現するフレームワークであるModular TTTを提案する。
論文 参考訳（メタデータ） (2026-08-07T11:11:43Z) - LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。
本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。
その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
論文 参考訳（メタデータ） (2026-06-03T06:07:33Z) - TabH2O: A Unified Foundation Model for Tabular Prediction [12.882141870947706]
本研究では,テキスト内学習による1つの前方パスの分類と回帰を行うモデルであるTabH2Oを提案する。
我々はTALENTベンチマークでTabH2O v1(29.2Mパラメータ)を評価し、6つの評価手法のうち平均2.55のランクを達成した。
論文 参考訳（メタデータ） (2026-05-18T13:27:54Z) - Mitigating Label Shift in Tabular In-Context Learning via Test-Time Posterior Adjustment [12.754011132549167]
DistPFNは、表層基礎モデルのために設計された最初のテスト時間後部調整法である。
提案手法を250以上のOpenMLデータセットで評価し,様々なTabPFNベースのモデルに対して大幅に改善した。
論文 参考訳（メタデータ） (2026-05-06T00:01:47Z) - Exploring Fine-Tuning for Tabular Foundation Models [3.884856136722027]
本研究は,タブラル基礎モデル(TFM)におけるファインチューニングに関する最初の総合的研究である。
我々は、ゼロショット、メタラーニング、スーパーバイザード(SFT)、パラメータ効率(PEFT)アプローチを比較し、不均衡、サイズ、次元といったデータセット要素が結果にどのように影響するかを分析する。
本研究は, 性能, キャリブレーション, 公平性について検討し, 微調整が有効である時期と限界について検討した。
論文 参考訳（メタデータ） (2026-01-14T17:40:46Z) - DEFT: Decompositional Efficient Fine-Tuning for Text-to-Image Models [103.18486625853099]
DEFT(Decompositional Efficient Fine-Tuning)は、事前トレーニングされた重み行列を2つのコンポーネントに分解することで適応する。
パーソナライズのためのDreamboothおよびDreambench Plusデータセット、オブジェクトおよびシーン適応のためのInsDetデータセット、ユニバーサル画像生成フレームワークのためのVisualClozeデータセットについて実験を行った。
論文 参考訳（メタデータ） (2025-09-26T18:01:15Z) - Gradient Free Deep Reinforcement Learning With TabPFN [23.140580395364207]
本稿では,Q関数近似器としてメタトレーニングされた変換器TabPFNを再利用した勾配自由深度RLフレームワークTabPFN RLを提案する。
我々はTabPFNを用いて推論のみを使用してQ値を予測する。
その結果,TabPFN などの既設ネットワークを高速かつ計算効率のよい RL の基盤として確立し,大規模な事前学習型トランスフォーマーによる勾配自由 RL の新たな方向性を開拓した。
論文 参考訳（メタデータ） (2025-09-14T13:09:58Z) - A Closer Look at TabPFN v2: Understanding Its Strengths and Extending Its Capabilities [51.08999772842298]
Tabular Prior-data Fitted Network v2 (TabPFN v2)は、さまざまな下流データセット間で、前例のないコンテキスト内学習性能を達成する。
本研究では,TabPFN v2が属性トークンをランダムに入力しても属性関係を推測可能であることを示す。
我々はTabPFN v2の制限がテスト時間分割・コンテキスト戦略によって対処できることを実証した。
論文 参考訳（メタデータ） (2025-02-24T17:38:42Z) - Tangent Model Composition for Ensembling and Continual Fine-tuning [69.92177580782929]
タンジェントモデル合成(Tangent Model composition, TMC)は、事前訓練された点を中心に微調整されたコンポーネントモデルを独立に結合する手法である。
TMCの精度は4.2%向上し、非線形微調整モデルの精度は4.2%向上した。
論文 参考訳（メタデータ） (2023-07-16T17:45:33Z) - Efficient GPT Model Pre-training using Tensor Train Matrix
Representation [65.96485282393361]
大規模なトランスフォーマーモデルは数十億のパラメータを特徴としており、デプロイが困難になり、スクラッチからトレーニングコストが禁じられている。
GPT-2アーキテクチャのパラメータ数を削減すべく、完全に接続された層の行列を対応するTrain Matrix(TTM)構造に置き換える。
GPTベースのモデルは最大40%のパラメータを格納し、元のモデルに匹敵するパープレキシティを示す。
論文 参考訳（メタデータ） (2023-06-05T08:38:25Z) - Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。
近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。
CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
論文 参考訳（メタデータ） (2023-03-13T17:59:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。