論文の概要: Prior-Fitted Networks Scale to Larger Datasets When Treated as Weak Learners

• arxiv url: http://arxiv.org/abs/2503.01256v1
• Date: Mon, 03 Mar 2025 07:31:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:16:42.352642
• Title: Prior-Fitted Networks Scale to Larger Datasets When Treated as Weak Learners
• Title（参考訳）: 弱学習者として扱う場合, ネットワークは大規模データセットにスケールする
• Authors: Yuxin Wang, Botian Jiang, Yiran Guo, Quan Gan, David Wipf, Xuanjing Huang, Xipeng Qiu,
• Abstract要約: BoostPFNは、大規模なデータセットでトレーニングサンプルと同じサイズで、標準的なPFNよりもパフォーマンスがよい。 高い性能はPFNのトレーニング前サイズの最大50倍まで維持される。
• 参考スコア（独自算出の注目度）: 82.72552644267724
• License:
• Abstract: Prior-Fitted Networks (PFNs) have recently been proposed to efficiently perform tabular classification tasks. Although they achieve good performance on small datasets, they encounter limitations with larger datasets. These limitations include significant memory consumption and increased computational complexity, primarily due to the impracticality of incorporating all training samples as inputs within these networks. To address these challenges, we investigate the fitting assumption for PFNs and input samples. Building on this understanding, we propose \textit{BoostPFN} designed to enhance the performance of these networks, especially for large-scale datasets. We also theoretically validate the convergence of BoostPFN and our empirical results demonstrate that the BoostPFN method can outperform standard PFNs with the same size of training samples in large datasets and achieve a significant acceleration in training times compared to other established baselines in the field, including widely-used Gradient Boosting Decision Trees (GBDTs), deep learning methods and AutoML systems. High performance is maintained for up to 50x of the pre-training size of PFNs, substantially extending the limit of training samples. Through this work, we address the challenges of efficiently handling large datasets via PFN-based models, paving the way for faster and more effective tabular data classification training and prediction process. Code is available at Github.
• Abstract（参考訳）: 近年,表層分類タスクを効率的に行うためにPFN(Predor-Fitted Networks)が提案されている。 小さなデータセットでは優れたパフォーマンスを実現するが、より大きなデータセットでは制限に直面する。 これらの制限には、メモリ消費の大幅な増加と計算の複雑さの増大が含まれる。 これらの課題に対処するため、PFNと入力サンプルの適合仮定について検討する。 この理解に基づいて,これらのネットワーク,特に大規模データセットの性能を高めるために設計された \textit{BoostPFN} を提案する。 また,BoostPFNの収束を理論的に検証し,実験結果から,BoostPFN法は大規模データセットのトレーニングサンプルと同じ大きさの標準PFNを上回り,広範に使用されているGradient Boosting Decision Trees (GBDT) やディープラーニング手法,AutoMLシステムなど,現場で確立された他のベースラインと比較して,トレーニング時間の大幅な加速を達成できることを示した。 高い性能はPFNのトレーニング前の50倍まで維持され、トレーニングサンプルの制限を大幅に延長する。 本研究では,PFNベースのモデルを用いて大規模データセットを効率的に扱うことの課題に対処し,より高速で効率的な表型データ分類学習と予測プロセスを実現する。 コードはGithubで入手できる。

関連論文リスト

• Pruning-based Data Selection and Network Fusion for Efficient Deep Learning [13.900633576526863]
  PruneFuseは、プルーニングとネットワーク融合を組み合わせてデータ選択を強化し、トレーニングを加速する新しい方法である。 PruneFuseでは、元の高密度ネットワークをプルーニングして、データセットから最も情報性の高いサンプルを効率的に選択する、より小さなサロゲートモデルを生成する。
  論文  参考訳（メタデータ） (2025-01-02T07:35:53Z)
• TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks [90.00817095558094]
  事前データ対応ネットワーク(PFN)は、事前学習とコンテキスト内学習を利用して、1つのフォワードパスで新しいタスクの強力なパフォーマンスを実現する。 我々は、大規模なデータセットをより小さな学習コンテキストに圧縮するPFNのパラメータ効率の良い微調整戦略であるTuneTablesを紹介した。 我々は、TuneTablesを解釈可能性ツールとして使用することができ、公平性目標を最適化することでバイアスを軽減することができることを示した。
  論文  参考訳（メタデータ） (2024-02-17T00:02:23Z)
• Bad Students Make Great Teachers: Active Learning Accelerates Large-Scale Visual Understanding [9.112203072394648]
  パワーロースケーリングは、均一サンプリングによる大規模トレーニングが違法に遅いことを示している。 アクティブな学習手法は、最も関係のある事例に基づいて学習を優先順位付けすることで、データの効率を向上させることを目的としている。
  論文  参考訳（メタデータ） (2023-12-08T19:26:13Z)
• RINAS: Training with Dataset Shuffling Can Be General and Fast [2.485503195398027]
  RINASは、グローバルシャッフルデータセットをロードする際のパフォーマンスボトルネックに対処するデータローディングフレームワークである。 We implement RINAS under the PyTorch framework for common dataset library HuggingFace and TorchVision。 実験の結果,RINASは汎用言語モデルトレーニングと視覚モデルトレーニングのスループットを最大59%,視力モデルトレーニングは89%向上した。
  論文  参考訳（メタデータ） (2023-12-04T21:50:08Z)
• Data Augmentations in Deep Weight Spaces [89.45272760013928]
  そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。 既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-11-15T10:43:13Z)
• BLoad: Enhancing Neural Network Training with Efficient Sequential Data Handling [8.859850475075238]
  オーバヘッドを最小限に抑えながら、異なるサイズのシーケンスに対して効率的な分散データ並列トレーニングを可能にする新しいトレーニング手法を提案する。 このスキームを使用することで、単一のフレームを削除することなく、パディング量を100ドル以上削減することができ、結果として、トレーニング時間とリコールの両方で全体的なパフォーマンスが向上しました。
  論文  参考訳（メタデータ） (2023-10-16T23:14:56Z)
• One Backward from Ten Forward, Subsampling for Large-Scale Deep Learning [35.0157090322113]
  大規模機械学習システムは、しばしばプロダクション環境からの膨大なデータで継続的に訓練される。 ストリーミングデータの量は、リアルタイムのトレーニングサブシステムにとって重要な課題であり、アドホックサンプリングが標準のプラクティスである。 我々は,これらの前方パスからインスタンス毎の情報量を一定に記録することを提案する。 追加情報は、前方および後方のパスに参加するデータインスタンスの選択を測定可能に改善します。
  論文  参考訳（メタデータ） (2021-04-27T11:29:02Z)
• Learning to Count in the Crowd from Limited Labeled Data [109.2954525909007]
  我々は,限られた数のラベル付きサンプルから参加者を数えることを学ぶことで,アノテーションの努力を減らすことに重点を置いている。 具体的には,未ラベルデータに対する擬似地下真理推定を含むガウス過程に基づく反復学習機構を提案する。
  論文  参考訳（メタデータ） (2020-07-07T04:17:01Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。