論文の概要: Speedrunning Relational Foundation Model Pretraining

• arxiv url: http://arxiv.org/abs/2610.28855v1
• Date: Tue, 20 Oct 2026 19:29:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.216684
• Title: Speedrunning Relational Foundation Model Pretraining
• Title（参考訳）: 高速リレーショナルファンデーションモデル事前学習
• Abstract要約: Speedrunのリーダーボードは、トレーニング実行ではなく、検索を分散化することで障壁を取り除く。 改善のための最初のリーダーボードであるmodded-nanoRTを紹介します。 レシピは、リファレンス実装よりも8.11倍高速なNVIDIA H200で305.63秒でターゲットに到達する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Progress on foundation model pretraining is gated by who can afford a trial, and relational pretraining is no exception. Recipes are developed inside individual labs, reported under private protocols, and do not accumulate. Speedrun leaderboards remove that barrier by decentralizing the search rather than the training run. The problem is fixed, the stack is open, entries are ranked by wall-clock time to a quality target, and one GPU is enough to hold the record. We introduce modded-nanoRT, the first such leaderboard for Relational Transformers. Which database to hold out decides whether the benchmark can resolve improvements at all, so we fix it by calibration, ranking six candidates by how sharply a 45-minute learning curve separates improvement from seed noise. We open the leaderboard with typed trilinear attention, a relational operator that conditions attention scores and values on the foreign key traversed, together with Muon and SIGReg. The recipe reaches the target in 305.63 seconds on one NVIDIA H200, 8.11x faster than the reference implementation, and wins 13 of 15 pairs outside the development database. We will release the benchmark, its frozen artifacts, and the record runs. Our code is available at https://github.com/kunumi/nanoRT.
• Abstract（参考訳）: 基礎モデル事前訓練の進展は、トライアルの余裕のある人によって促進され、リレーショナル事前訓練は例外ではない。 レシピは個々の研究室内で開発され、プライベートプロトコルの下で報告され、蓄積されない。 Speedrunのリーダーボードは、トレーニング実行ではなく、検索を分散化することで、その障壁を取り除く。 問題は修正され、スタックはオープンで、エントリは品質目標へのウォールクロックタイムでランク付けされ、1つのGPUがレコードを保持するのに十分である。 我々は、リレーショナルトランスフォーマーのための最初のリーダーボードであるmodded-nanoRTを紹介する。 どのデータベースが、ベンチマークで改善を解決できるかを判断するので、キャリブレーションによって修正し、6つの候補を45分間の学習曲線がシードノイズからいかに改善を分離するかでランク付けします。 我々は、MuonとSIGRegとともに、外国のキートラバースで注意点と値を設定するリレーショナルオペレーターである、タイプ付きトリリニアアテンションでリーダーボードを開きます。 レシピは1つのNVIDIA H200で305.63秒でターゲットに到達し、リファレンス実装より8.11倍速く、開発データベースの外で15ペアのうち13が勝利する。 ベンチマーク、凍結したアーティファクト、そしてレコードを公開します。 私たちのコードはhttps://github.com/kunumi/nanoRT.comで利用可能です。

関連論文リスト

• ATTUNE: Agentic Throughput Tuning for LLM Training [16.649506712719518]
  ATTUNEは、ユーザが設定したGPU時間内に、手動でワークロードとスタックの動作レシピを調整します。 それぞれのランを診断し、1回に1回のレバーを変更し、過去のキャンペーンからの教訓のカタログによってガイドされる。 レシピは、客観的に変化する設定と既知のスタック欠陥に対する設定チェックという、正当性ゲートを通過する場合にのみ配信される。
  論文  参考訳（メタデータ） (2026-10-13T00:49:11Z)
• DuoDiscover: Scaling Autonomous Discovery Beyond the Evaluation Bottleneck [114.73386698321592]
  評価はAIの進歩の中心であり、自律的な発見にも等しく重要である。 提案するDuoDiscoverは,最適化方法と進捗を効率的に評価する方法を共同で発見する検索システムである。 我々は、DuoDiscoverを2つのリポジトリレベルのベンチマークと、数百のカーネルをカバーするGPUとTPUカーネルスイートで実証した。
  論文  参考訳（メタデータ） (2026-10-12T17:54:30Z)
• AutoTuneBench: Trustworthy Measurement for Agent Auto-Tuning of LLM Serving Engines [8.951500258016974]
  本稿では,信頼アーキテクチャを実現するベンチマークおよび測定プロトコルであるAutoTuneBenchを紹介する。 619モデルコールの4日間のパイロットコーパスから4つの障害モードを特徴付ける。
  論文  参考訳（メタデータ） (2026-09-16T04:58:25Z)
• Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
  別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。 各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。 約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
  論文  参考訳（メタデータ） (2026-09-16T04:00:54Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Speedrunning Tabular Foundation Model Pretraining [80.20375439555964]
  我々はNanoTabPFNのコミュニティスピードランを紹介する。 コントリビュータは、単一ファイルのトレーニングスクリプトを変更し、固定下流のLOC AUCターゲットに到達するために競合する。 現在の最高記録は0.92分で目標に到達し、74.32分ベースラインの81倍のスピードアップを記録した。
  論文  参考訳（メタデータ） (2026-06-02T14:04:31Z)
• GPS++: An Optimised Hybrid MPNN/Transformer for Molecular Property Prediction [1.8111291579474593]
  GPS++は、PCQM4Mv2分子特性予測タスクのためのOpen Graph Benchmark Large-Scale Challenge (OGB-LSC 2022)の第一位ソリューションである。 提案手法は, 3次元原子位置と補助的認知タスクを組み込んだMPNN/Transformerハイブリッドモデルである。
  論文  参考訳（メタデータ） (2022-11-18T18:11:27Z)
• Negative Frames Matter in Egocentric Visual Query 2D Localization [119.23191388798921]
  最近リリースされたEgo4Dデータセットとベンチマークは、一人称視覚知覚データを大幅にスケールし、多様化している。 Visual Queries 2Dローカライゼーションタスクは、1対1の視点で記録された過去に存在するオブジェクトを検索することを目的としている。 本研究は,Epsodic Memoryベンチマークで導入された3段階ベースラインに基づく。
  論文  参考訳（メタデータ） (2022-08-03T09:54:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。