論文の概要: Parameter-Efficient Distributionally Robust Adaptation of Tabular Foundation Models under Subpopulation Shift

• arxiv url: http://arxiv.org/abs/2610.01143v1
• Date: Thu, 01 Oct 2026 06:23:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.932341
• Title: Parameter-Efficient Distributionally Robust Adaptation of Tabular Foundation Models under Subpopulation Shift
• Title（参考訳）: サブポピュレーションシフト下におけるタブラル基礎モデルのパラメータ効率の良い分布ロバスト適応
• Abstract要約: DR-TFMはパラメータ効率のよい分散ロバスト適応フレームワークである。 既存のクエリスケーリングネットワークを微調整したり、他のパラメータをすべて修正したまま追加し、トレーニングすることで、ラベル付きコンテキストの例に注意を向ける。 事前訓練されたTFMよりも平均最悪のグループ精度がかなり高く、真のグループアノテーションを使わずに頑健なベースラインを比較できる。
• 参考スコア（独自算出の注目度）: 5.630530373119448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite strong mean accuracy, tabular foundation models (TFMs) can perform poorly on underrepresented groups under subpopulation shift, where group proportions change between training and deployment. We propose DR-TFM, a parameter-efficient distributionally robust adaptation framework that requires no true group annotations. DR-TFM adjusts attention to labeled context examples by fine-tuning an existing query scaling network or adding and training one, while keeping all other parameters fixed. We instantiate the framework with two robust objectives using estimated groups or source conditional distributions derived from training data. For TabPFN-3, adaptation updates only 0.016% of the pretrained model's parameters. Across five tabular benchmarks, DR-TFM achieves substantially higher average worst-group accuracy than pretrained TFMs and the compared robust baselines without true group annotations, while maintaining competitive mean group accuracy. DR-TFM also improves average worst-group accuracy on ACS Income and across four additional TFMs.
• Abstract（参考訳）: 表層基礎モデル(TFMs)は, 高い平均精度にもかかわらず, サブ人口移動下では, 群比が訓練と展開の間に変化するため, 下位表現群では不十分である。 本稿では,真のグループアノテーションを必要としないパラメータ効率の高い分散ロバスト適応フレームワークDR-TFMを提案する。 DR-TFMは、既存のクエリスケーリングネットワークを微調整したり、他のパラメータをすべて修正したまま追加し、トレーニングすることで、ラベル付きコンテキストの例に注意を向ける。 トレーニングデータから得られた推定グループやソース条件分布を用いて、2つの頑健な目標でフレームワークをインスタンス化する。 TabPFN-3では、事前訓練されたモデルのパラメータの0.016%しか更新されなかった。 5つの表式ベンチマークでDR-TFMは、事前訓練されたTFMよりも平均最悪のグループ精度をかなり高く達成し、真のグループアノテーションを使わずに、比較された頑健なベースラインを競合平均グループ精度を維持した。 DR-TFMは、ACS Incomeおよび追加の4つのTFMにおける平均最悪のグループ精度も改善する。

関連論文リスト

• Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
  画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。 本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。 我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
  論文  参考訳（メタデータ） (2025-03-12T15:46:12Z)
• Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
  経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。 これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。 本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:17:44Z)
• Bias Amplification Enhances Minority Group Performance [10.380812738348899]
  本稿では,新しい2段階学習アルゴリズムであるBAMを提案する。 第1段階では、各トレーニングサンプルに対して学習可能な補助変数を導入することにより、バイアス増幅方式を用いてモデルを訓練する。 第2段階では、バイアス増幅モデルが誤分類したサンプルを重み付けし、その後、再重み付けされたデータセット上で同じモデルをトレーニングし続けます。
  論文  参考訳（メタデータ） (2023-09-13T04:40:08Z)
• Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
  群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。 グループDROフレームワークをQ-Diversityを提案して再構築する。 インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
  論文  参考訳（メタデータ） (2023-05-20T07:02:27Z)
• Contrastive Adapters for Foundation Model Group Robustness [11.961187296775185]
  既存のロバスト性を改善するには再訓練が必要であるが、これは大規模な基礎モデルでは違法に高価である。 そこで本研究では,コントラスト学習を伴うアダプタを訓練し,それらの接地構造クラス埋め込みと,同じクラスに他のサンプル埋め込みの両方に近接してサンプル埋め込みをもたらすことを提案する。 提案手法は群ロバスト性を常に改善し,ゼロショットよりも最悪のグループ精度を8.5～56.0ppに向上させる。
  論文  参考訳（メタデータ） (2022-07-14T19:40:55Z)
• Just Train Twice: Improving Group Robustness without Training Group Information [101.84574184298006]
  経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。 群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。 本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
  論文  参考訳（メタデータ） (2021-07-19T17:52:32Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。