Fugu-MT 論文翻訳(概要): On Finetuning Tabular Foundation Models

論文の概要: On Finetuning Tabular Foundation Models

arxiv url: http://arxiv.org/abs/2506.08982v1
Date: Tue, 10 Jun 2025 16:52:31 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-11 15:11:42.954545
Title: On Finetuning Tabular Foundation Models
Title（参考訳）: ファインチューニングタブラリ基礎モデルについて
Authors: Ivan Rubachev, Akim Kotelnikov, Nikolay Kartashev,
Abstract要約: TabPFNv2は、小規模データセット上の従来のGBDTベースのメソッドよりも優れたパフォーマンスを主張する。多様なデータセットに対してTabPFNv2の様々な微調整戦略を評価する。実験対象の問合せ表現の点生成物は, 勾配適応後, 目標の類似性をより正確に反映していることから, 微調整の成功が示唆された。
参考スコア（独自算出の注目度）: 12.04552516629994
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Foundation models are an emerging research direction in tabular deep learning. Notably, TabPFNv2 recently claimed superior performance over traditional GBDT-based methods on small-scale datasets using an in-context learning paradigm, which does not adapt model parameters to target datasets. However, the optimal finetuning approach for adapting tabular foundational models, and how this adaptation reshapes their internal mechanisms, remains underexplored. While prior works studied finetuning for earlier foundational models, inconsistent findings and TabPFNv2's unique architecture necessitate fresh investigation. To address these questions, we first systematically evaluate various finetuning strategies on diverse datasets. Our findings establish full finetuning as the most practical solution for TabPFNv2 in terms of time-efficiency and effectiveness. We then investigate how finetuning alters TabPFNv2's inner mechanisms, drawing an analogy to retrieval-augmented models. We reveal that the success of finetuning stems from the fact that after gradient-based adaptation, the dot products of the query-representations of test objects and the key-representations of in-context training objects more accurately reflect their target similarity. This improved similarity allows finetuned TabPFNv2 to better approximate target dependency by appropriately weighting relevant in-context samples, improving the retrieval-based prediction logic. From the practical perspective, we managed to finetune TabPFNv2 on datasets with up to 50K objects, observing performance improvements on almost all tasks. More precisely, on academic datasets with I.I.D. splits, finetuning allows TabPFNv2 to achieve state-of-the-art results, while on datasets with gradual temporal shifts and rich feature sets, TabPFNv2 is less stable and prior methods remain better.
Abstract（参考訳）: 基礎モデルは表層学習における新たな研究方向である。特に、TabPFNv2は最近、ターゲットデータセットにモデルパラメータを適応しないコンテキスト内学習パラダイムを使用して、小規模データセット上の従来のGBDTベースのメソッドよりも優れたパフォーマンスを主張した。しかし、表層基底モデルに適用するための最適微調整手法と、この適応が内部メカニズムをどう再評価するかは、まだ未定である。以前の研究は、初期の基礎モデルの微調整を研究していたが、矛盾する発見とTabPFNv2のユニークなアーキテクチャは、新たな調査を必要とした。これらの問題に対処するために、まず、多様なデータセット上で様々な微調整戦略を体系的に評価する。本研究は,TabPFNv2の時間効率と有効性の観点から,フル微調整を最も実用的な解決法として確立した。次に,TabPFNv2の内部機構が微調整によってどのように変化するかを調べた。微調整の成功は、勾配に基づく適応の後、テストオブジェクトの問合せ表現のドット積と、コンテキスト内トレーニングオブジェクトのキー表現が、ターゲットの類似性をより正確に反映していることに起因している。この改良された類似性により、微調整されたTabPFNv2は、関連するインコンテキストサンプルを適切に重み付けし、検索ベースの予測ロジックを改善することで、ターゲット依存性を近似することができる。実用の観点からは、TabPFNv2を最大50Kオブジェクトのデータセットで微調整し、ほぼすべてのタスクのパフォーマンス改善を観察しました。より正確には、I.I.D.スプリットを持つ学術データセットでは、微調整によりTabPFNv2は最先端の結果が得られるが、段階的な時間シフトと豊富な特徴セットを持つデータセットでは、TabPFNv2は安定性が低く、先行メソッドも改善されている。

関連論文リスト

Beyond QA Pairs: Assessing Parameter-Efficient Fine-Tuning for Fact Embedding in LLMs [0.0]
本稿では,質問応答対をFactualクラスとConceptualクラスに分類することで,微調整プロセスの改善に焦点をあてる。 2つの異なるLlama-2モデルはこれらの分類に基づいて微調整され、GPT-3.5 TurboやGeminiのような大型モデルを用いて評価される。以上の結果から,概念データセットでトレーニングされたモデルは,実データセットでトレーニングしたモデルよりも優れていたことが示唆された。
論文参考訳（メタデータ） (2025-03-03T03:26:30Z)
A Closer Look at TabPFN v2: Strength, Limitation, and Extension [51.08999772842298]
Tabular Prior-data Fitted Network v2 (TabPFN v2)は、複数のデータセットにまたがる前例のないコンテキスト内学習の精度を達成する。本稿では,300以上のデータセット上でTabPFN v2を評価し,中小規模タスクにおける例外的な一般化機能を確認する。
論文参考訳（メタデータ） (2025-02-24T17:38:42Z)
Revisiting Nearest Neighbor for Tabular Data: A Deep Tabular Baseline Two Decades Later [76.66498833720411]
K$-nearest neighbors (KNN) はもともと,インスタンス間のセマンティックな類似性を捉えるために線形投影を学習するために設計されたものだ。意外なことに、SGDを用いたNAAの実装と次元減少のない実装は、表データの良好な性能をすでに達成しています。本稿では、損失関数、予測戦略、深いアーキテクチャなど、これらの改善の背景にある要因を分析して、論文を締めくくる。
論文参考訳（メタデータ） (2024-07-03T16:38:57Z)
Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting [0.0]
我々は、大規模言語モデル(LLM)の様々な微調整戦略の理解を深めようとしている。我々は,2つのデータセット(COLAとMNLI)で事前学習したモデルに対して,バニラファインチューニングやPBFT(Pattern-Based Fine-Tuning)のような最先端の手法を比較した。以上の結果から,バニラFTやPBFTに匹敵する領域外一般化が期待できる可能性が示唆された。
論文参考訳（メタデータ） (2024-05-21T20:08:52Z)
Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文参考訳（メタデータ） (2023-05-18T16:28:29Z)
Leveraging Data Recasting to Enhance Tabular Reasoning [21.970920861791015]
これまでの作業は、主に2つのデータ生成戦略に依存していた。ひとつは人間のアノテーションで、言語学的に多様なデータを生成するが、拡張は困難である。第2のカテゴリは合成生成であり、スケーラブルで費用対効果があるが、発明性に欠ける。
論文参考訳（メタデータ） (2022-11-23T00:04:57Z)
DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
論文参考訳（メタデータ） (2021-10-30T03:29:47Z)
Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文参考訳（メタデータ） (2021-06-01T22:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。