論文の概要: TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks

• arxiv url: http://arxiv.org/abs/2402.11137v3
• Date: Mon, 21 Oct 2024 16:48:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 20:59:11.418690
• Title: TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks
• Title（参考訳）: TuneTables: スケーラブルなプリデータフィットネットワークのためのコンテキスト最適化
• Authors: Benjamin Feuer, Robin Tibor Schirrmeister, Valeriia Cherepanova, Chinmay Hegde, Frank Hutter, Micah Goldblum, Niv Cohen, Colin White,
• Abstract要約: 事前データ対応ネットワーク(PFN)は、事前学習とコンテキスト内学習を利用して、1つのフォワードパスで新しいタスクの強力なパフォーマンスを実現する。 我々は、大規模なデータセットをより小さな学習コンテキストに圧縮するPFNのパラメータ効率の良い微調整戦略であるTuneTablesを紹介した。 我々は、TuneTablesを解釈可能性ツールとして使用することができ、公平性目標を最適化することでバイアスを軽減することができることを示した。
• 参考スコア（独自算出の注目度）: 90.00817095558094
• License:
• Abstract: While tabular classification has traditionally relied on from-scratch training, a recent breakthrough called prior-data fitted networks (PFNs) challenges this approach. Similar to large language models, PFNs make use of pretraining and in-context learning to achieve strong performance on new tasks in a single forward pass. However, current PFNs have limitations that prohibit their widespread adoption. Notably, TabPFN achieves very strong performance on small tabular datasets but is not designed to make predictions for datasets of size larger than 1000. In this work, we overcome these limitations and substantially improve the performance of PFNs via context optimization. We introduce TuneTables, a parameter-efficient fine-tuning strategy for PFNs that compresses large datasets into a smaller learned context. We conduct extensive experiments on 19 algorithms over 98 datasets and find that TuneTables achieves the best performance on average, outperforming boosted trees such as CatBoost, while optimizing fewer than 5% of TabPFN's parameters. Furthermore, we show that TuneTables can be used as an interpretability tool and can even be used to mitigate biases by optimizing a fairness objective. We open-source our code and raw results at https://github.com/penfever/TuneTables.
• Abstract（参考訳）: 表形式の分類は伝統的にオフスクラッチトレーニングに依存してきたが、最近PFN(Presideed-data fit Network)と呼ばれるブレークスルーがこのアプローチに挑戦している。 大規模言語モデルと同様に、PFNは事前学習とコンテキスト内学習を利用して、1つのフォワードパスで新しいタスクの強力なパフォーマンスを達成する。 しかし、現在のPFNには、広く普及することを禁じる制限がある。 特にTabPFNは、小さな表のデータセットで非常に強力なパフォーマンスを達成するが、1000以上のデータセットの予測は設計されていない。 本研究では,これらの制約を克服し,文脈最適化によりPFNの性能を大幅に改善する。 我々は、大規模なデータセットをより小さな学習コンテキストに圧縮するPFNのパラメータ効率の良い微調整戦略であるTuneTablesを紹介した。 98のデータセット上で19のアルゴリズムに関する広範な実験を行い、TuneTablesは平均して最高のパフォーマンスを達成し、CatBoostのような強化された木よりも優れており、TabPFNのパラメータの5%未満を最適化しています。 さらに、TuneTablesは解釈可能性ツールとして使用することができ、公平性目標を最適化することでバイアスを軽減することができることを示す。 コードと生の結果はhttps://github.com/penfever/TuneTables.comで公開しています。

関連論文リスト

• Tokenize features, enhancing tables: the FT-TABPFN model for tabular classification [13.481699494376809]
  FT-TabPFNはTabPFNの拡張版で、分類機能をよりよく扱うための新しい機能トークン化レイヤを含んでいる。 私たちの完全なソースコードは、コミュニティの利用と開発に利用可能です。
  論文  参考訳（メタデータ） (2024-06-11T02:13:46Z)
• Retrieval & Fine-Tuning for In-Context Tabular Models [16.668695961462827]
  トランスフォーマーベースのインコンテキスト学習を用いた最近の進歩は、より小さく、より複雑でないデータセットを約束しているが、より大きく、より複雑なデータセットにスケールするのに苦労している。 検索と微調整の組み合わせを提案する: 近接する近隣住民を収集することで、変換器をデータの局所的なサブセットに適応させ、その周辺住民の状況に応じてタスク固有の微調整を行うことができる。 テキスト内モデルと比較すると,性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-06-07T18:43:33Z)
• Interpretable Machine Learning for TabPFN [5.012821694203072]
  TabPFNモデルは、様々な分類タスクで最先端のパフォーマンスを達成することができる。 モデルのユニークな性質を利用することで、我々の適応はより効率的な計算を可能にします。
  論文  参考訳（メタデータ） (2024-03-16T13:35:15Z)
• In-Context Data Distillation with TabPFN [11.553950697974825]
  In-context data distillation (ICD) は、TabPFNのコンテキストを最適化することでこれらの制約を効果的に除去する新しい手法である。 ICDにより、TabPFNは固定メモリ予算ではるかに大きなデータセットを処理でき、TabPFNの二次メモリの複雑さは向上するが、多くのチューニングステップのコストがかかる。
  論文  参考訳（メタデータ） (2024-02-10T15:23:45Z)
• When Do Neural Nets Outperform Boosted Trees on Tabular Data? [65.30290020731825]
  私たちは一歩後退して、'NN vs. GBDT'議論の重要性に疑問を投げかけます。 驚くほど多くのデータセットに対して、GBDTとNNのパフォーマンスの違いは無視できる。 我々は、データセットのどの特性がNNやGBDTを適切に動作させるために適しているかを決定するために、数十のメタ機能を分析します。 私たちの洞察は、実践者がデータセット上で最もうまく機能するテクニックを決定するためのガイドとして機能します。
  論文  参考訳（メタデータ） (2023-05-04T17:04:41Z)
• Prior-mean-assisted Bayesian optimization application on FRIB Front-End tunning [61.78406085010957]
  我々は、FRIBフロントエンドチューニングのためのBOの事前平均として、過去のデータに基づいてトレーニングされたニューラルネットワークモデルを利用する。 本稿では、FRIBフロントエンドチューニングのためのBOの事前平均として、過去のデータに基づいてトレーニングされたニューラルネットワークモデルを利用する。
  論文  参考訳（メタデータ） (2022-11-11T18:34:15Z)
• TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second [48.87527918630822]
  トレーニングされたトランスフォーマーであるTabPFNは、小さなデータセットの教師付き分類を1秒以内で行うことができる。 TabPFNはコンテキスト内学習(ICL)を行い、ラベル付きサンプルのシーケンスを使用して予測を行う。 提案手法は, 強化木よりも明らかに優れており, 230$times$ Speedupの複雑なAutoMLシステムと同等性能を示す。
  論文  参考訳（メタデータ） (2022-07-05T07:17:43Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Adversarial Filters of Dataset Biases [96.090959788952]
  大規模なニューラルモデルでは、言語とビジョンベンチマークで人間レベルのパフォーマンスが実証されている。 それらの性能は、敵対的またはアウト・オブ・ディストリビューションのサンプルで著しく低下する。 このようなデータセットバイアスを逆フィルタするAFLiteを提案する。
  論文  参考訳（メタデータ） (2020-02-10T21:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。