論文の概要: Mixture of In-Context Prompters for Tabular PFNs

• arxiv url: http://arxiv.org/abs/2405.16156v1
• Date: Sat, 25 May 2024 09:47:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 00:40:50.346383
• Title: Mixture of In-Context Prompters for Tabular PFNs
• Title（参考訳）: タブラルPFN用インコンテクストプロンプタの混合
• Authors: Derek Xu, Olcay Cirit, Reza Asadi, Yizhou Sun, Wei Wang,
• Abstract要約: MIXTUREPFNは、36の多様なデータセットに対して、19の強力なディープラーニングとツリーベースのベースラインに対して、Condorcetの勝者である。 上記のアルゴリズムのうち、統計的に有意な上位10位を達成している。
• 参考スコア（独自算出の注目度）: 33.76194735049027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent benchmarks found In-Context Learning (ICL) outperforms both deep learning and tree-based algorithms on small tabular datasets. However, on larger datasets, ICL for tabular learning cannot run without severely compromising performance, due to its quadratic space and time complexity w.r.t. dataset size. We propose MIXTUREPFN, which both extends nearest-neighbor sampling to the state-of-the-art ICL for tabular learning model and uses bootstrapping to finetune said model on the inference-time dataset. MIXTUREPFN is the Condorcet winner across 36 diverse tabular datasets against 19 strong deep learning and tree-based baselines, achieving the highest mean rank among Top-10 aforementioned algorithms with statistical significance.
• Abstract（参考訳）: 最近のベンチマークでは、ICL(In-Context Learning)は、小さな表のデータセット上で、ディープラーニングとツリーベースのアルゴリズムの両方より優れています。 しかし、より大きなデータセットでは、グラフ学習のためのICLは、その二次空間とデータセットサイズに時間的複雑さがあるため、パフォーマンスを著しく損なうことなく実行できない。 提案するMIXTUREPFNは,近距離サンプリングを表型学習モデルのための最先端のICLに拡張し,ブートストラップを用いて推論時データセット上でそのモデルを微調整する。 MIXTUREPFNは、19の強いディープラーニングとツリーベースのベースラインに対して36の多様な表層データセットをまたいだCondorcetの勝者であり、上記のTop-10アルゴリズムの中で、統計的に有意な最高ランクを達成している。

関連論文リスト

• Modern Neighborhood Components Analysis: A Deep Tabular Baseline Two Decades Later [59.88557193062348]
  我々は、インスタンス間のセマンティックな類似性をキャプチャする線形射影を学習するために設計された古典的近傍成分分析(NCA)を再考する。 学習目的の調整や深層学習アーキテクチャの統合といった微調整は,NAAの性能を著しく向上させることがわかった。 また,提案したModernNCAの効率性と予測精度を向上する,近隣のサンプリング戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• A Closer Look at Deep Learning on Tabular Data [52.50778536274327]
  タブラルデータは、機械学習の様々な領域で広く使われている。 Deep Neural Network(DNN)ベースの手法は、ツリーベースに匹敵する有望なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-07-01T04:24:07Z)
• Retrieval & Fine-Tuning for In-Context Tabular Models [16.668695961462827]
  トランスフォーマーベースのインコンテキスト学習を用いた最近の進歩は、より小さく、より複雑でないデータセットを約束しているが、より大きく、より複雑なデータセットにスケールするのに苦労している。 検索と微調整の組み合わせを提案する: 近接する近隣住民を収集することで、変換器をデータの局所的なサブセットに適応させ、その周辺住民の状況に応じてタスク固有の微調整を行うことができる。 テキスト内モデルと比較すると,性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-06-07T18:43:33Z)
• In-Context Data Distillation with TabPFN [11.553950697974825]
  In-context data distillation (ICD) は、TabPFNのコンテキストを最適化することでこれらの制約を効果的に除去する新しい手法である。 ICDにより、TabPFNは固定メモリ予算ではるかに大きなデータセットを処理でき、TabPFNの二次メモリの複雑さは向上するが、多くのチューニングステップのコストがかかる。
  論文  参考訳（メタデータ） (2024-02-10T15:23:45Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• Attention versus Contrastive Learning of Tabular Data -- A Data-centric Benchmarking [0.0]
  本稿では,28データセットの幅広い選択に対して,最先端の注意と対照的な学習手法を広く評価する。 ハイブリット・アテンション・コントラストの学習戦略は、主に分類が難しいデータセットに勝っている。 従来の手法は、おそらくより単純な決定境界を持つデータセットを分類しやすくするのにしばしば優れている。
  論文  参考訳（メタデータ） (2024-01-08T22:36:05Z)
• DataComp: In search of the next generation of multimodal datasets [179.79323076587255]
  DataCompは、Common Crawlの128億の画像テキストペアの候補プールを中心にしたデータセット実験用のテストベッドである。 我々のベンチマークは、複数の計算スケールから成っている。 特に、最良のベースラインであるDataComp-1Bは、ImageNetでCLIP ViT-L/14をスクラッチから79.2%のゼロショット精度でトレーニングすることが可能です。
  論文  参考訳（メタデータ） (2023-04-27T11:37:18Z)
• Is margin all you need? An extensive empirical study of active learning on tabular data [66.18464006872345]
  我々は,OpenML-CC18ベンチマークを用いて,69の実世界のデータセット上での各種能動学習アルゴリズムの性能を解析した。 意外なことに、古典的なマージンサンプリング技術は、現在の最先端技術を含む、他のすべてのものよりも優れている。
  論文  参考訳（メタデータ） (2022-10-07T21:18:24Z)
• Why do tree-based models still outperform deep learning on tabular data? [0.0]
  木をベースとしたモデルが中規模データの最先端のままであることを示す。 木系モデルとニューラルネットワーク(NN)の異なる帰納バイアスに関する実証的研究を行う。
  論文  参考訳（メタデータ） (2022-07-18T08:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。