論文の概要: Speedrunning Tabular Foundation Model Pretraining

• arxiv url: http://arxiv.org/abs/2606.03681v1
• Date: Tue, 02 Jun 2026 14:04:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.050443
• Title: Speedrunning Tabular Foundation Model Pretraining
• Title（参考訳）: 高速タブラルファンデーションモデル事前学習
• Authors: Salih Bora Ozturk, Alexander Pfefferle, Frank Hutter,
• Abstract要約: 我々はNanoTabPFNのコミュニティスピードランを紹介する。 コントリビュータは、単一ファイルのトレーニングスクリプトを変更し、固定下流のLOC AUCターゲットに到達するために競合する。 現在の最高記録は0.92分で目標に到達し、74.32分ベースラインの81倍のスピードアップを記録した。
• 参考スコア（独自算出の注目度）: 80.20375439555964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretraining cost is a major bottleneck for research on tabular foundation models, slowing the iteration cycle for new architectures, priors, and optimization ideas. Yet the community lacks a simple way to compare and accumulate pretraining speedups. We introduce a community speedrun for nanoTabPFN: contributors modify a single-file training script and compete to reach a fixed downstream ROC AUC target on subsampled TabArena using one NVIDIA L40S GPU. The current best record reaches the target in 0.92 minutes, an 81x speedup over the 74.32 minute baseline while using 22x fewer synthetic datasets. The speedrun format provides a simple protocol for the community to add, verify, and stack pretraining improvements, with the leaderboard open to contributions. Code and records are available at https://github.com/borawhocodess/modded-nanotabpfn.
• Abstract（参考訳）: プレトレーニングコストは、表形式の基盤モデルの研究において大きなボトルネックとなり、新しいアーキテクチャ、事前、最適化のアイデアのイテレーションサイクルを遅くする。 しかし、コミュニティには、事前学習のスピードアップを比較して蓄積する簡単な方法がない。 コントリビュータは1つのNVIDIA L40S GPUを使用してサブサンプリングされたTabArena上で,単一ファイルのトレーニングスクリプトを変更して,固定下流のROC AUCターゲットに到達する。 現在の最高記録は0.92分で到達し、74.32分のベースラインを81倍スピードアップし、合成データセットは22倍少ない。 Speedrunフォーマットは、コミュニティが事前トレーニングの改善を追加、検証、スタックするためのシンプルなプロトコルを提供する。 コードとレコードはhttps://github.com/borawhocodess/modded-nanotabpfn.comで入手できる。

関連論文リスト

• TabPFN-3: Technical Report [76.55249061301969]
  TabPFN-3はTabPFN上に構築され、1Mのトレーニング行を持つデータセットに最先端のパフォーマンスを拡大し、トレーニングと推論時間を大幅に短縮する。 TabPFN-3は、我々の以前の合成データのみに制限され、表の予測のフロンティアを劇的に押し上げます。 当社のAPIが提供するTabPFN-3-Plus(Thinking)では,TabArena上で200Elo以上の非TabPFNモデルに対して,これを活用しています。
  論文  参考訳（メタデータ） (2026-05-13T18:01:43Z)
• Less Data, Faster Convergence: Goal-Driven Data Optimization for Multimodal Instruction Tuning [19.797488880602813]
  それぞれの候補に対して6つのサンプル記述子を計算し、異なる目標に対して1$times$トレーニングサブセットを最適化するフレームワークを提案する。 固定されたQwen3-VL-8B-インストラクショントレーニングと評価のレシピの下で、GDOはUni-10xベースラインよりもはるかに少ないトレーニングサンプルを使用する。 固定された512kサンプルのUni-10xベースラインとは対照的に、GDOはMVBenchの35.4kサンプル、VideoMMEの26.6k、MLVUの27.3k、LVBenchの34.7kサンプルの後、Uni-10x基準に達する。
  論文  参考訳（メタデータ） (2026-03-12T21:54:50Z)
• Memory-Efficient Acceleration of Block Low-Rank Foundation Models on Resource Constrained GPUs [11.45717904490388]
  トランスフォーマーベースの基盤モデルの最近の進歩は、多くのタスクのデフォルト選択となった。 その急速に成長するサイズは、単一のGPUに完全なモデルを適合させることがますます難しくなり、計算コストが禁じられる。 ブロック低ランク(BLR)圧縮技術は、重み行列のコンパクト表現を学習することでこの問題に対処する。
  論文  参考訳（メタデータ） (2025-12-24T00:41:13Z)
• nanoTabPFN: A Lightweight and Educational Reimplementation of TabPFN [78.62756717376563]
  NanoTabPFNはTabPFN v2アーキテクチャとそれに対応するトレーニングループの軽量実装である。 1つのGPUでの事前トレーニングから1分以内に、従来の機械学習ベースラインに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-11-05T16:52:51Z)
• RecTable: Fast Modeling Tabular Data with Rectified Flow [0.0]
  本稿では,テキスト・ツー・イメージ・ジェネレーションやテキスト・ツー・ビデオ・ジェネレーションなどに適用された修正フローモデリングを用いたRecTableを紹介する。 実験により, RecTableは, 最先端拡散モデルやスコアベースモデルと比較して, 競争性能が向上することを示した。
  論文  参考訳（メタデータ） (2025-03-26T17:12:20Z)
• Speedy MASt3R [68.47052557089631]
  MASt3Rは、DUSt3Rを活用して高速な相互マッチング方式を導入することで、画像マッチングを3Dタスクとして再定義する。 高速MASt3Rは、精度を犠牲にすることなく、推論時間(画像ペアあたり198msから91ms)を54%削減する。 この進歩により、リアルタイムな3D理解が可能になり、複合現実ナビゲーションや大規模3Dシーン再構築といったアプリケーションに恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-03-13T03:56:22Z)
• Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
  逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 モデルの内部構造ブロックを利用して効率を向上させることを提案する。 従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
  論文  参考訳（メタデータ） (2023-10-24T01:36:20Z)
• TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second [48.87527918630822]
  トレーニングされたトランスフォーマーであるTabPFNは、小さなデータセットの教師付き分類を1秒以内で行うことができる。 TabPFNはコンテキスト内学習(ICL)を行い、ラベル付きサンプルのシーケンスを使用して予測を行う。 提案手法は, 強化木よりも明らかに優れており, 230$times$ Speedupの複雑なAutoMLシステムと同等性能を示す。
  論文  参考訳（メタデータ） (2022-07-05T07:17:43Z)
• Accelerating DNN Training with Structured Data Gradient Pruning [0.5801044612920815]
  ウェイトプルーニング(Weight pruning)は、ディープニューラルネットワーク(DNN)の推論をより効率的にする手法である。 Nvidia A100 GPUのような現代のアクセラレーターは、このタイプの構造化された空間を4要素あたり2つの非ゼロでサポートしている。 提案手法は,性能に大きな影響を与えることなく,全トレーニング時間を15～25%削減することができる。
  論文  参考訳（メタデータ） (2022-02-01T21:41:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。