論文の概要: Scaling Motion Forecasting Models with Ensemble Distillation

• arxiv url: http://arxiv.org/abs/2404.03843v2
• Date: Mon, 13 May 2024 22:37:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 18:52:04.554730
• Title: Scaling Motion Forecasting Models with Ensemble Distillation
• Title（参考訳）: エンサンブル蒸留による運動予測モデルのスケーリング
• Authors: Scott Ettinger, Kratarth Goel, Avikalp Srivastava, Rami Al-Rfou,
• Abstract要約: 本研究では, モデルアンサンブルと蒸留技術を組み合わせて, 限られた計算予算を考慮した動き予測システムの改善手法を提案する。 ディープニューラルネットワークのアンサンブルの使用は、多くのアプリケーション領域で精度を向上させることが示されている。 実験は、限られた計算予算を持つロボットシステムの予測モデルの精度を向上させる効果的な方法として、アンサンブルからの蒸留を実証する。
• 参考スコア（独自算出の注目度）: 8.427581354203495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motion forecasting has become an increasingly critical component of autonomous robotic systems. Onboard compute budgets typically limit the accuracy of real-time systems. In this work we propose methods of improving motion forecasting systems subject to limited compute budgets by combining model ensemble and distillation techniques. The use of ensembles of deep neural networks has been shown to improve generalization accuracy in many application domains. We first demonstrate significant performance gains by creating a large ensemble of optimized single models. We then develop a generalized framework to distill motion forecasting model ensembles into small student models which retain high performance with a fraction of the computing cost. For this study we focus on the task of motion forecasting using real world data from autonomous driving systems. We develop ensemble models that are very competitive on the Waymo Open Motion Dataset (WOMD) and Argoverse leaderboards. From these ensembles, we train distilled student models which have high performance at a fraction of the compute costs. These experiments demonstrate distillation from ensembles as an effective method for improving accuracy of predictive models for robotic systems with limited compute budgets.
• Abstract（参考訳）: モーション予測は、自律ロボットシステムにおいてますます重要なコンポーネントになりつつある。 計算予算は一般にリアルタイムシステムの精度を制限する。 本研究では,モデルアンサンブルと蒸留技術を組み合わせて,限られた計算予算を考慮した動き予測システムの改善手法を提案する。 ディープニューラルネットワークのアンサンブルの使用は、多くのアプリケーション領域における一般化精度を向上させることが示されている。 まず、最適化された単一モデルの大規模なアンサンブルを作成することで、大幅な性能向上を実証する。 そこで我々は,運動予測モデルの集合を,計算コストのごく一部で高い性能を維持する小さな学生モデルに蒸留する,一般化された枠組みを開発した。 本研究では,自律走行システムの実世界データを用いた動き予測の課題に焦点をあてる。 Waymo Open Motion Dataset(WOMD)とArgoverseのリーダーボードで非常に競合するアンサンブルモデルを開発した。 これらのアンサンブルから,計算コストのごく一部で高い性能を有する蒸留学生モデルを訓練する。 これらの実験は、限られた計算予算を持つロボットシステムの予測モデルの精度を向上させる効果的な方法として、アンサンブルからの蒸留を実証する。

関連論文リスト

• Open-Source High-Speed Flight Surrogate Modeling Framework [0.0]
  高速飛行車は音速よりもはるかに速く走行し、国防と宇宙探査に不可欠である。 様々な飛行条件下での行動の正確な予測は困難であり、しばしば高価である。 提案されたアプローチでは、より賢く、より効率的な機械学習モデルを作成する。
  論文  参考訳（メタデータ） (2024-11-06T01:34:06Z)
• Hardware Aware Ensemble Selection for Balancing Predictive Accuracy and Cost [0.6486052012623046]
  ハードウェア対応のアンサンブル選択手法を導入し,推論時間をポストホックアンサンブルに統合する。 提案手法は,既存のアンサンブル選択フレームワークと品質多様性最適化を利用して,その予測精度とハードウェア効率について,アンサンブル候補の評価を行う。 83の分類データセットを用いて評価したところ,本手法は競争精度を保ち,アンサンブルの操作効率を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-08-05T07:30:18Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• TSPP: A Unified Benchmarking Tool for Time-series Forecasting [3.5415344166235534]
  本稿では,時系列予測モデルの開発に係わる重要なモデリングと機械学習の決定を明らかにする,統一的なベンチマークフレームワークを提案する。 このフレームワークは、モデルとデータセットのシームレスな統合を促進し、実践者と研究者の両方が開発作業を支援する。 このフレームワーク内で最近提案されたモデルをベンチマークし、最小限の努力で注意深く実装されたディープラーニングモデルは、勾配決定木に匹敵する可能性があることを実証した。
  論文  参考訳（メタデータ） (2023-12-28T16:23:58Z)
• STORM: Efficient Stochastic Transformer based World Models for Reinforcement Learning [82.03481509373037]
  近年,モデルに基づく強化学習アルゴリズムは視覚入力環境において顕著な有効性を示している。 本稿では,強力なモデリングと生成機能を組み合わせた効率的な世界モデルアーキテクチャであるTransformer-based wORld Model (STORM)を紹介する。 Stormは、Atari 100$kベンチマークで平均126.7%の人的パフォーマンスを達成し、最先端のメソッドの中で新しい記録を樹立した。
  論文  参考訳（メタデータ） (2023-10-14T16:42:02Z)
• EAMDrift: An interpretable self retrain model for time series [0.0]
  EAMDrift(EAMDrift)は、複数の個人予測器から予測を合成し、性能指標に従って予測を重み付けする新しい手法である。 EAMDriftはデータのアウト・オブ・ディストリビューションパターンに自動的に適応し、各瞬間に使用する最も適切なモデルを特定するように設計されている。 本研究は,EAMDriftが個々のベースラインモデルより20%優れ,非解釈可能なアンサンブルモデルに匹敵する精度が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-31T13:25:26Z)
• Progressive Ensemble Distillation: Building Ensembles for Efficient Inference [32.60057845566007]
  事前学習した教師モデルをより小さく、低推論コストの学生モデルに分解する。 結果として得られるアンサンブルは、実行時の推論コストに対して、柔軟に精度を調整できる。 標準画像,音声,センサデータセット間で事前学習したモデルを分解することで,B-DISTILの有効性を示す。
  論文  参考訳（メタデータ） (2023-02-20T16:57:44Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Real-time Neural-MPC: Deep Learning Model Predictive Control for Quadrotors and Agile Robotic Platforms [59.03426963238452]
  モデル予測制御パイプライン内の動的モデルとして,大規模で複雑なニューラルネットワークアーキテクチャを効率的に統合するフレームワークであるReal-time Neural MPCを提案する。 ニューラルネットワークを使わずに、最先端のMPCアプローチと比較して、位置追跡誤差を最大82%削減することで、実世界の問題に対する我々のフレームワークの実現可能性を示す。
  論文  参考訳（メタデータ） (2022-03-15T09:38:15Z)
• Device-Cloud Collaborative Learning for Recommendation [50.01289274123047]
  集中型クラウドモデルにより「数千人のモデルを持つ何千人もの人」を効率的に実現する新しいMetaPatch学習手法をデバイス側で提案します。 数十億の更新されたパーソナライズされたデバイスモデルにより、集中型クラウドモデルを更新する"モデルオーバーモデル"蒸留アルゴリズム、すなわちMoMoDistillを提案する。
  論文  参考訳（メタデータ） (2021-04-14T05:06:59Z)
• Hybrid modeling: Applications in real-time diagnosis [64.5040763067757]
  我々は、機械学習にインスパイアされたモデルと物理モデルを組み合わせた、新しいハイブリッドモデリングアプローチの概要を述べる。 このようなモデルをリアルタイム診断に利用しています。
  論文  参考訳（メタデータ） (2020-03-04T00:44:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。