論文の概要: Mitigating Label Shift in Tabular In-Context Learning via Test-Time Posterior Adjustment

• arxiv url: http://arxiv.org/abs/2605.04363v1
• Date: Wed, 06 May 2026 00:01:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.581553
• Title: Mitigating Label Shift in Tabular In-Context Learning via Test-Time Posterior Adjustment
• Title（参考訳）: テスト時間後調整による語彙内学習におけるラベルシフトの緩和
• Authors: Seunghan Lee, Jaehoon Lee, Jun Seo, Sungdong Yoo, Minjae Kim, Tae Yoon Lim, Dongwan Kang, Hwanil Choi, SoonYoung Lee, Wonbin Ahn,
• Abstract要約: DistPFNは、表層基礎モデルのために設計された最初のテスト時間後部調整法である。 提案手法を250以上のOpenMLデータセットで評価し,様々なTabPFNベースのモデルに対して大幅に改善した。
• 参考スコア（独自算出の注目度）: 12.754011132549167
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: TabPFN has recently gained attention as a foundation model for tabular datasets, achieving strong performance by leveraging in-context learning on synthetic data. However, we find that TabPFN is vulnerable to label shift, often overfitting to the majority class in the training dataset. To address this limitation, we propose DistPFN, the first test-time posterior adjustment method designed for tabular foundation models. DistPFN rescales predicted class probabilities by downweighting the influence of the training prior (i.e., the class distribution of the context) and emphasizing the contribution of the model's predicted posterior, without architectural modification or additional training. We further introduce DistPFN-T, which incorporates temperature scaling to adaptively control the adjustment strength based on the discrepancy between prior and posterior. We evaluate our methods on over 250 OpenML datasets, demonstrating substantial improvements for various TabPFN-based models in classification tasks under label shift, while maintaining strong performance in standard settings without label shift. Code is available at this repository: https://github.com/seunghan96/DistPFN.
• Abstract（参考訳）: TabPFNは、最近、表形式のデータセットの基礎モデルとして注目され、合成データにコンテキスト内学習を活用することで、強力なパフォーマンスを実現している。 しかし、TabPFNはラベルシフトに弱いため、トレーニングデータセットの多数派に過度に適合することが多い。 この制限に対処するため,表層基礎モデル用に設計した最初のテスト時間再調整法であるDistPFNを提案する。 DistPFNは、事前トレーニングの影響(すなわち、文脈のクラス分布)を下げ、アーキテクチャの変更や追加トレーニングなしに、モデルが予測した後部の貢献を強調することで、予測されたクラス確率を再スケールする。 さらに、温度スケーリングを取り入れたDistPFN-Tを導入し、前と後との相違に基づいて調整強度を適応的に制御する。 この手法を250以上のOpenMLデータセット上で評価し,ラベルシフト下での分類タスクにおいて,TabPFNベースのモデルに対して,ラベルシフトのない標準設定での強い性能を維持しつつ,大幅な改善を示した。 コードは、このリポジトリで入手できる。

関連論文リスト

• Active In-Context Learning for Tabular Foundation Models [0.675253870287079]
  Tabular Active In-Context Learning (Tab-AICL) を形式化し、4つの取得ルールでインスタンス化する。 20の分類ベンチマークで、Tab-AICLは、トレーニングされた勾配ブースティングベースラインよりもコールドスタートサンプル効率を改善する。
  論文  参考訳（メタデータ） (2026-03-28T19:37:13Z)
• Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
  時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。 微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。 モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T07:07:13Z)
• TabPFN: One Model to Rule Them All? [21.658323618943697]
  統計利用者に対して,TabPFNがどのように機能するかを整理した説明を提供する。 本稿では,TabPFNのアウト・オブ・ザ・ボックス適用が,最先端の特殊な手法よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-26T13:55:29Z)
• A Closer Look at TabPFN v2: Understanding Its Strengths and Extending Its Capabilities [51.08999772842298]
  Tabular Prior-data Fitted Network v2 (TabPFN v2)は、さまざまな下流データセット間で、前例のないコンテキスト内学習性能を達成する。 本研究では,TabPFN v2が属性トークンをランダムに入力しても属性関係を推測可能であることを示す。 我々はTabPFN v2の制限がテスト時間分割・コンテキスト戦略によって対処できることを実証した。
  論文  参考訳（メタデータ） (2025-02-24T17:38:42Z)
• TabPFN Unleashed: A Scalable and Effective Solution to Tabular Classification Problems [30.597696775364447]
  TabPFNは、有望なコンテキスト内学習モデルとして登場した。 ラベル付きトレーニング例からテストサンプルのラベルを直接予測することができる。 これは、特に小規模の分類タスクにおいて、競争力を発揮している。
  論文  参考訳（メタデータ） (2025-02-04T17:49:44Z)
• Tokenize features, enhancing tables: the FT-TABPFN model for tabular classification [13.481699494376809]
  FT-TabPFNはTabPFNの拡張版で、分類機能をよりよく扱うための新しい機能トークン化レイヤを含んでいる。 私たちの完全なソースコードは、コミュニティの利用と開発に利用可能です。
  論文  参考訳（メタデータ） (2024-06-11T02:13:46Z)
• TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks [90.00817095558094]
  事前データ対応ネットワーク(PFN)は、事前学習とコンテキスト内学習を利用して、1つのフォワードパスで新しいタスクの強力なパフォーマンスを実現する。 我々は、大規模なデータセットをより小さな学習コンテキストに圧縮するPFNのパラメータ効率の良い微調整戦略であるTuneTablesを紹介した。 我々は、TuneTablesを解釈可能性ツールとして使用することができ、公平性目標を最適化することでバイアスを軽減することができることを示した。
  論文  参考訳（メタデータ） (2024-02-17T00:02:23Z)
• Scaling TabPFN: Sketching and Feature Selection for Tabular Prior-Data Fitted Networks [31.82225213006849]
  タブラル分類は伝統的に教師付きアルゴリズムに依存しており、トレーニングデータを用いて予測モデルのパラメータを推定する。 近年、TabPFNのようなPFN(Presideed Data Fitted Networks)は、コンテキスト内の表データの分類に成功している。 このようなモデルは非常に有望であるが、実際のデータに適用可能であるのは計算規模が限られているためである。
  論文  参考訳（メタデータ） (2023-11-17T16:04:27Z)
• Rethinking Pre-Training in Tabular Data: A Neighborhood Embedding Perspective [71.45945607871715]
  メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。 中心となる考え方は、データインスタンスを共有機能空間に埋め込むことで、各インスタンスは、近隣の固定数とそのラベルまでの距離で表現される。 101データセットの大規模な実験は、微調整の有無にかかわらず、分類タスクと回帰タスクの両方においてTabPTMの有効性を確認した。
  論文  参考訳（メタデータ） (2023-10-31T18:03:54Z)
• Adaptive Distribution Calibration for Few-Shot Learning with Hierarchical Optimal Transport [78.9167477093745]
  本稿では,新しいサンプルとベースクラス間の適応重み行列を学習し,新しい分布校正法を提案する。 標準ベンチマーク実験の結果,提案したプラグ・アンド・プレイモデルの方が競合する手法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-09T02:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。