論文の概要: Scaling Laws of Motion Forecasting and Planning -- A Technical Report

• arxiv url: http://arxiv.org/abs/2506.08228v1
• Date: Mon, 09 Jun 2025 20:54:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:40.758343
• Title: Scaling Laws of Motion Forecasting and Planning -- A Technical Report
• Title（参考訳）: 動き予測と計画のスケーリング法則-技術報告
• Authors: Mustafa Baniodeh, Kratarth Goel, Scott Ettinger, Carlos Fuertes, Ari Seff, Tim Shen, Cole Gulino, Chenjie Yang, Ghassen Jerfel, Dokook Choe, Rui Wang, Vinutha Kallem, Sergio Casas, Rami Al-Rfou, Benjamin Sapp, Dragomir Anguelov,
• Abstract要約: 本研究では,エンコーダ・デコーダ・オートレグレッシブ・トランスモデルの実証スケーリング法則について検討する。 モデルトレーニング損失とモデル評価指標との間には,強い相関関係がみられた。 我々は,エゴエージェントの性能向上のために,他のエージェントの一般的なログ化された運転データに対するトレーニングの有用性を短時間で検討した。
• 参考スコア（独自算出の注目度）: 23.340801154900387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the empirical scaling laws of a family of encoder-decoder autoregressive transformer models on the task of joint motion forecasting and planning in the autonomous driving domain. Using a 500 thousand hours driving dataset, we demonstrate that, similar to language modeling, model performance improves as a power-law function of the total compute budget, and we observe a strong correlation between model training loss and model evaluation metrics. Most interestingly, closed-loop metrics also improve with scaling, which has important implications for the suitability of open-loop metrics for model development and hill climbing. We also study the optimal scaling of the number of transformer parameters and the training data size for a training compute-optimal model. We find that as the training compute budget grows, optimal scaling requires increasing the model size 1.5x as fast as the dataset size. We also study inference-time compute scaling, where we observe that sampling and clustering the output of smaller models makes them competitive with larger models, up to a crossover point beyond which a larger models becomes more inference-compute efficient. Overall, our experimental results demonstrate that optimizing the training and inference-time scaling properties of motion forecasting and planning models is a key lever for improving their performance to address a wide variety of driving scenarios. Finally, we briefly study the utility of training on general logged driving data of other agents to improve the performance of the ego-agent, an important research area to address the scarcity of robotics data for large capacity models training.
• Abstract（参考訳）: 本研究では, 自律走行領域における共同動作予測と計画の課題に対して, エンコーダ・デコーダ・オートレグレッシブ・トランスフォーマモデルの実証的スケーリング法則について検討する。 5万時間の運転データセットを用いて、言語モデルと同様に、モデル性能が総計算予算のゆるい関数として改善されることを示し、モデルトレーニング損失とモデル評価指標との強い相関関係を観察する。 最も興味深いのは、クローズドループメトリクスもスケーリングによって改善され、これはモデル開発とヒルクライミングにおけるオープンループメトリクスの適合性に重要な意味を持つ。 また、トレーニング計算-最適モデルのための変圧器パラメータ数の最適スケーリングとトレーニングデータサイズについても検討する。 トレーニング計算予算が増加するにつれて、最適なスケーリングには、データセットのサイズの1.5倍の速度でモデルのサイズを拡大する必要があります。 また、推論時間計算のスケーリングについても検討し、より小さなモデルの出力のサンプリングとクラスタリングによって、より大きなモデルと競合し、より大きなモデルの方がより推論-計算効率のよいクロスオーバーポイントに達することを観察した。 実験結果から,動作予測と計画モデルのトレーニングおよび推定時間スケーリング特性の最適化が,様々な運転シナリオに対処するための性能向上のキーレバーであることが示唆された。 最後に,ロボットデータの不足に対処する重要な研究領域であるエゴエージェントの性能向上のために,他のエージェントの一般的なログ化運転データに対するトレーニングの有用性について,簡単な研究を行った。

関連論文リスト

• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• DriveGPT: Scaling Autoregressive Behavior Models for Driving [11.733428769776204]
  本稿では、自律運転のためのスケーラブルな行動モデルDriveGPTを提案する。 我々は,未来のエージェント状態をトークンとして自動回帰的に予測するトランスフォーマーモデルを学習する。 モデルのパラメータをスケールアップし、データを桁違いにトレーニングすることで、スケーリング特性の探索を可能にします。
  論文  参考訳（メタデータ） (2024-12-19T00:06:09Z)
• Scaling Sequential Recommendation Models with Transformers [0.0]
  我々は、大規模言語モデルのトレーニングで観察されるスケーリング法則からインスピレーションを得て、シーケンシャルなレコメンデーションのために同様の原則を探求する。 計算最適トレーニングは可能だが、アプリケーション固有の計算性能トレードオフを慎重に分析する必要がある。 また、より小さなタスク固有のドメイン上で、より大規模なトレーニング済みモデルを微調整することで、パフォーマンスのスケーリングがダウンストリームタスクに変換されることを示す。
  論文  参考訳（メタデータ） (2024-12-10T15:20:56Z)
• AutoScale: Scale-Aware Data Mixing for Pre-Training LLMs [61.13296177652599]
  より小さなスケールで良好に機能するデータ混合物は、大規模なスケールではその利点を保たない可能性があることを示す。 2段階のスケール対応データ合成フレームワークであるAutoScaleを提案する。
  論文  参考訳（メタデータ） (2024-07-29T17:06:30Z)
• More Compute Is What You Need [3.184416958830696]
  モデル性能はトランスフォーマーモデルに費やされる計算量に大きく依存することを示す新しいスケーリング法則を提案する。 a)推論効率、トレーニングは、より小さなモデルサイズとより大きなトレーニングデータセットを優先すべきであり、(b)利用可能なWebデータセットの枯渇を前提として、モデルサイズをスケールすることが、モデルパフォーマンスをさらに改善するための唯一の方法である、と予測する。
  論文  参考訳（メタデータ） (2024-04-30T12:05:48Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。