論文の概要: Exploring Fine-Tuning for Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2601.09654v1
• Date: Wed, 14 Jan 2026 17:40:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-15 18:59:20.489183
• Title: Exploring Fine-Tuning for Tabular Foundation Models
• Title（参考訳）: タブラル基礎モデルのための微調整の探索
• Authors: Aditya Tanna, Pratinav Seth, Mohamed Bouadi, Vinay Kumar Sankarapu,
• Abstract要約: 本研究は,タブラル基礎モデル(TFM)におけるファインチューニングに関する最初の総合的研究である。 我々は、ゼロショット、メタラーニング、スーパーバイザード(SFT)、パラメータ効率(PEFT)アプローチを比較し、不均衡、サイズ、次元といったデータセット要素が結果にどのように影響するかを分析する。 本研究は, 性能, キャリブレーション, 公平性について検討し, 微調整が有効である時期と限界について検討した。
• 参考スコア（独自算出の注目度）: 3.884856136722027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular Foundation Models (TFMs) have recently shown strong in-context learning capabilities on structured data, achieving zero-shot performance comparable to traditional machine learning methods. We find that zero-shot TFMs already achieve strong performance, while the benefits of fine-tuning are highly model and data-dependent. Meta-learning and PEFT provide moderate gains under specific conditions, whereas full supervised fine-tuning (SFT) often reduces accuracy or calibration quality. This work presents the first comprehensive study of fine-tuning in TFMs across benchmarks including TALENT, OpenML-CC18, and TabZilla. We compare Zero-Shot, Meta-Learning, Supervised (SFT), and parameter-efficient (PEFT) approaches, analyzing how dataset factors such as imbalance, size, and dimensionality affect outcomes. Our findings cover performance, calibration, and fairness, offering practical guidelines on when fine-tuning is most beneficial and its limitations.
• Abstract（参考訳）: Tabular Foundation Models (TFMs)は先頃、構造化データ上でのコンテキスト内学習能力を強く示し、従来の機械学習手法に匹敵するゼロショットのパフォーマンスを達成した。 ゼロショットTFMはすでに高い性能を実現しているのに対し、微調整の利点はモデルとデータに依存している。 メタラーニングとPEFTは特定の条件下で適度な利得を提供するが、フル教師付き微調整(SFT)は精度や校正品質を低下させる。 この研究は、TALENT、OpenML-CC18、TabZillaを含むベンチマーク間でのTFMの微調整に関する最初の包括的な研究である。 我々は、ゼロショット、メタラーニング、スーパーバイザード(SFT)、パラメータ効率(PEFT)アプローチを比較し、不均衡、サイズ、次元といったデータセット要素が結果にどのように影響するかを分析する。 本研究は, 性能, キャリブレーション, 公平性について検討し, 微調整が有効である時期と限界について検討した。

関連論文リスト

• Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
  時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。 微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。 モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T07:07:13Z)
• Analyzing the Effects of Supervised Fine-Tuning on Model Knowledge from Token and Parameter Levels [72.3670919950349]
  大規模言語モデル(LLM)は、事前訓練中にかなりの世界の知識を得る。 教師付き微調整(SFT)のようなポストトレーニング技術はこの知識変化の振る舞いを形作る。 LLaMA-2 と LLaMA-3 の 5 つの LLM を対象としたクローズドブック質問応答 (CBQA) の性能評価を行った。
  論文  参考訳（メタデータ） (2025-09-20T09:40:32Z)
• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Massive Supervised Fine-tuning Experiments Reveal How Data, Layer, and Training Factors Shape LLM Alignment Quality [22.105116314320696]
  Supervised Fine-tuning (SFT) は、大きな言語モデルを人間の指示や値に合わせるための重要なステップである。 コード生成、数学的推論、汎用ドメインタスクなど、さまざまなデータセットに基づいて、幅広いベースモデルをトレーニングしました。 次に、最も重要となるデータセット特性を特定し、SFTが導入した階層的な修正について検討した。
  論文  参考訳（メタデータ） (2025-06-17T16:13:15Z)
• LIFT+: Lightweight Fine-Tuning for Long-Tail Learning [45.187004699024435]
  LIFT+は一貫性のあるクラス条件を最適化する革新的な軽量な微調整フレームワークである。 我々のフレームワークは、高速収束とモデルコンパクト化を容易にする効率的で正確なパイプラインを提供する。
  論文  参考訳（メタデータ） (2025-04-17T18:50:47Z)
• SAFT: Towards Out-of-Distribution Generalization in Fine-Tuning [8.566687323389264]
  Sparse Adaptation for Fine-Tuning (SAFT) を導入する。これは、ファインチューニングが事前訓練されたモデルにおける一般的な知識を忘れないようにする手法である。 モデルパラメータのわずか0.1%で、SAFTはCLIPの性能を大幅に改善できる。 ImageNetのほんの数ショットの学習ベンチマークで、SAFTはOOD設定における従来の微調整法よりも平均5.15%向上した。
  論文  参考訳（メタデータ） (2024-07-03T11:56:55Z)
• Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting [0.0]
  我々は、大規模言語モデル(LLM)の様々な微調整戦略の理解を深めようとしている。 我々は,2つのデータセット(COLAとMNLI)で事前学習したモデルに対して,バニラファインチューニングやPBFT(Pattern-Based Fine-Tuning)のような最先端の手法を比較した。 以上の結果から,バニラFTやPBFTに匹敵する領域外一般化が期待できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-21T20:08:52Z)
• AutoFT: Learning an Objective for Robust Fine-Tuning [60.641186718253735]
  ファンデーションモデルは、微調整によって下流タスクに適応できるリッチな表現をエンコードする。 手作り正則化技術を用いた頑健な微調整への最近のアプローチ 我々は、堅牢な微調整のためのデータ駆動型アプローチであるAutoFTを提案する。
  論文  参考訳（メタデータ） (2024-01-18T18:58:49Z)
• DavIR: Data Selection via Implicit Reward for Large Language Models [62.59514469369608]
  DavIRは、学習後の大規模言語モデルのためのモデルベースのデータ選択手法である。 DavIRで選択したAlpacaデータセットの6%は、LLaMAモデルとGemmaモデルの両方を操り、フル52Kデータセットでトレーニングされたモデルと比較すると、優れたパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2023-10-16T07:26:24Z)
• Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
  FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。 近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。 しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。 これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
  論文  参考訳（メタデータ） (2023-04-04T16:14:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。