論文の概要: Can Test-Time Scaling Improve World Foundation Model?

• arxiv url: http://arxiv.org/abs/2503.24320v1
• Date: Mon, 31 Mar 2025 17:07:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:34:57.498010
• Title: Can Test-Time Scaling Improve World Foundation Model?
• Title（参考訳）: テストタイムのスケーリングはワールドファンデーションモデルを改善するか?
• Authors: Wenyan Cong, Hanqing Zhu, Peihao Wang, Bangya Liu, Dejia Xu, Kevin Wang, David Z. Pan, Yan Wang, Zhiwen Fan, Zhangyang Wang,
• Abstract要約: 我々は世界基盤モデル(WFM)に適したテストタイムスケーリングフレームワークであるSWIFTを紹介する。 COSMOSモデルの実証的な結果は、テストタイムのスケーリングが計算-最適方法であっても存在することを示している。 その結果,テストタイムスケーリング法則はWFMに対して有効であり,SWIFTはモデルサイズを調整・増大させることなく,WFM推論を改善するためのスケーラブルで効果的な経路を提供することがわかった。
• 参考スコア（独自算出の注目度）: 67.82670175383761
• License:
• Abstract: World foundation models, which simulate the physical world by predicting future states from current observations and inputs, have become central to many applications in physical intelligence, including autonomous driving and robotics. However, these models require substantial computational resources for pretraining and are further constrained by available data during post-training. As such, scaling computation at test time emerges as both a critical and practical alternative to traditional model enlargement or re-training. In this work, we introduce SWIFT, a test-time scaling framework tailored for WFMs. SWIFT integrates our extensible WFM evaluation toolkit with process-level inference strategies, including fast tokenization, probability-based Top-K pruning, and efficient beam search. Empirical results on the COSMOS model demonstrate that test-time scaling exists even in a compute-optimal way. Our findings reveal that test-time scaling laws hold for WFMs and that SWIFT provides a scalable and effective pathway for improving WFM inference without retraining or increasing model size. The code is available at https://github.com/Mia-Cong/SWIFT.git.
• Abstract（参考訳）: 世界基礎モデルは、現在の観測と入力から将来の状態を予測することによって物理世界をシミュレートし、自律運転やロボット工学を含む多くの物理的知能の応用の中心となっている。 しかし、これらのモデルは事前学習に相当な計算資源を必要とし、訓練後のデータによってさらに制限される。 このように、テスト時の計算のスケーリングは、従来のモデル拡張や再トレーニングに対する批判的かつ実践的な代替手段として現れます。 本稿では,WFMに適したテスト時間スケーリングフレームワークであるSWIFTを紹介する。 SWIFTは、高速トークン化、確率ベースのTop-Kプルーニング、効率的なビーム探索を含むプロセスレベルの推論戦略と拡張可能なWFM評価ツールキットを統合した。 COSMOSモデルの実証的な結果は、テストタイムのスケーリングが計算-最適方法であっても存在することを示している。 その結果,テストタイムスケーリング法則はWFMに対して有効であり,SWIFTはモデルサイズを調整・増大させることなく,WFM推論を改善するためのスケーラブルで効果的な経路を提供することがわかった。 コードはhttps://github.com/Mia-Cong/SWIFT.gitで公開されている。

関連論文リスト

• Benchmarking Time Series Forecasting Models: From Statistical Techniques to Foundation Models in Real-World Applications [0.0]
  時系列予測は、ホスピタリティ産業における運用インテリジェンスにとって不可欠である。 本研究では,14日間の地平線上での時間売上予測における統計,機械学習(ML),ディープラーニング,基礎モデルの性能を評価する。
  論文  参考訳（メタデータ） (2025-02-05T17:30:31Z)
• Unlock the Correlation between Supervised Fine-Tuning and Reinforcement Learning in Training Code Large Language Models [12.656574142412484]
  本研究では,教師付き微調整と強化学習の相関関係の解明を試みる。 SFTの一般化には原子関数と合成関数の両方が不可欠である。
  論文  参考訳（メタデータ） (2024-06-14T03:39:01Z)
• Pretraining Billion-scale Geospatial Foundational Models on Frontier [0.16492989697868893]
  ファンデーションモデル(FM)は、自己教師付き学習を通じて、インターネットスケールの未ラベルデータで訓練される。 本研究では,空間的応用のための10億規模のFMとHPCトレーニングプロファイルを,公開データの事前学習により検討する。 我々のより大きな3Bパラメータサイズモデルでは、トップ1シーンの分類精度が最大30%向上する。
  論文  参考訳（メタデータ） (2024-04-17T19:16:32Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Towards Flexible Time-to-event Modeling: Optimizing Neural Networks via Rank Regression [17.684526928033065]
  我々はDART(Time-to-event Prediction)のためのDeep AFT Rank-regressionモデルを導入する。 このモデルは、表現学習において効率的で信頼性の高いゲハンのランク統計に基づく客観的関数を用いる。 提案手法は, 生存時間分布に分布仮定を課さない半パラメトリックなAFTモデリング手法である。
  論文  参考訳（メタデータ） (2023-07-16T13:58:28Z)
• FlexMoE: Scaling Large-scale Sparse Pre-trained Model Training via Dynamic Device Placement [19.639936387834677]
  Mixture-of-Experts (MoEs) は、様々なダウンストリームタスクにおいて、優れた事前トレーニングのスケーラビリティを示している。 MoEはデータライフサイクルにおける新たなデータ分析パラダイムになりつつある。 本稿では,動的データフローによる非効率性に対して系統的かつ透過的に対処する新しいDNNトレーニングフレームワークFlexMoEを提案する。
  論文  参考訳（メタデータ） (2023-04-08T07:34:26Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• ForceNet: A Graph Neural Network for Large-Scale Quantum Calculations [86.41674945012369]
  スケーラブルで表現力のあるグラフニューラルネットワークモデルであるForceNetを開発し、原子力を近似します。 提案したForceNetは、最先端の物理ベースのGNNよりも正確に原子力を予測することができる。
  論文  参考訳（メタデータ） (2021-03-02T03:09:06Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。