論文の概要: Hydra-MDP: End-to-end Multimodal Planning with Multi-target Hydra-Distillation
- arxiv url: http://arxiv.org/abs/2406.06978v2
- Date: Mon, 17 Jun 2024 05:07:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 01:50:51.832340
- Title: Hydra-MDP: End-to-end Multimodal Planning with Multi-target Hydra-Distillation
- Title(参考訳): Hydra-MDP:マルチターゲットハイドラ蒸留によるエンドツーエンドマルチモーダルプランニング
- Authors: Zhenxin Li, Kailin Li, Shihao Wang, Shiyi Lan, Zhiding Yu, Yishen Ji, Zhiqi Li, Ziyue Zhu, Jan Kautz, Zuxuan Wu, Yu-Gang Jiang, Jose M. Alvarez,
- Abstract要約: 教師-学生モデルに複数の教師を取り入れた新しいパラダイムであるHydra-MDPを提案する。
ルールベースの教師の知識により、Hydra-MDPは環境がプランニングにエンド・ツー・エンドでどのように影響するかを学ぶ。
- 参考スコア(独自算出の注目度): 115.63989808986105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Hydra-MDP, a novel paradigm employing multiple teachers in a teacher-student model. This approach uses knowledge distillation from both human and rule-based teachers to train the student model, which features a multi-head decoder to learn diverse trajectory candidates tailored to various evaluation metrics. With the knowledge of rule-based teachers, Hydra-MDP learns how the environment influences the planning in an end-to-end manner instead of resorting to non-differentiable post-processing. This method achieves the $1^{st}$ place in the Navsim challenge, demonstrating significant improvements in generalization across diverse driving environments and conditions. Code will be available at https://github.com/woxihuanjiangguo/Hydra-MDP
- Abstract(参考訳): 教師-学生モデルに複数の教師を取り入れた新しいパラダイムであるHydra-MDPを提案する。
このアプローチでは、人間とルールベースの教師の両方から知識を蒸留して学生モデルを訓練し、様々な評価指標に合わせて様々な軌道候補を学習するマルチヘッドデコーダを特徴とする。
ルールベースの教師の知識により、Hydra-MDPは、非微分不可能なポストプロセッシングに頼るのではなく、エンド・ツー・エンドの方法で環境がプランニングにどのように影響するかを学ぶ。
この手法はナブシム問題において1^{st}$の精度を達成し、様々な運転環境や条件における一般化の大幅な改善を示す。
コードはhttps://github.com/woxihuanjiangguo/Hydra-MDPで入手できる。
関連論文リスト
- Parameter-Selective Continual Test-Time Adaptation [3.480626767752489]
継続的テスト時間適応(CTTA)は、継続的なドメインシフトの下でテスト期間中に、事前トレーニングされたモデルを常に変化する環境に適応することを目的としている。
PSMT法は、ドメインシフトの下でMTネットワーク内の臨界パラメータを効果的に更新することができる。
論文 参考訳(メタデータ) (2024-07-02T13:18:15Z) - MS-Net: A Multi-Path Sparse Model for Motion Prediction in Multi-Scenes [1.4451387915783602]
マルチシーンネットワーク(Multi-Scenes Network、別名MS-Net)は、進化過程によって訓練されたマルチパススパースモデルである。
MS-Netは、推論段階でパラメータのサブセットを選択的に活性化し、各シーンの予測結果を生成する。
実験の結果,MS-Netは既存の歩行者行動予測データセットの最先端手法よりも優れていた。
論文 参考訳(メタデータ) (2024-03-01T08:32:12Z) - Alternate Diverse Teaching for Semi-supervised Medical Image Segmentation [62.021828104757745]
そこで我々は,教師-学生の枠組みにおける多様な教育手法であるAD-MTを提案する。
一人の生徒モデルと2つの訓練不可能な教師モデルがあり、それは定期的に、ランダムに、別の方法で、モーメントを更新する。
論文 参考訳(メタデータ) (2023-11-29T02:44:54Z) - Adaptive Multi-Teacher Knowledge Distillation with Meta-Learning [16.293262022872412]
適応型多教師知識蒸留とメタラーニング(MMKD)を提案する。
メタウェイトネットワークの助けを借りて、出力層と中間層における多様な教師の知識を活用し、生徒のパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2023-06-11T09:38:45Z) - EmbedDistill: A Geometric Knowledge Distillation for Information
Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する
本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。
提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95~97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文 参考訳(メタデータ) (2023-01-27T22:04:37Z) - Multi-Robot Deep Reinforcement Learning for Mobile Navigation [82.62621210336881]
階層的統合モデル(HInt)を用いた深層強化学習アルゴリズムを提案する。
トレーニング時には、HIntは別々の知覚モデルとダイナミクスモデルを学び、テスト時には、HIntは2つのモデルを階層的な方法で統合し、統合モデルとアクションを計画する。
我々のモバイルナビゲーション実験は、HIntが従来の階層的ポリシーや単一ソースアプローチよりも優れていることを示している。
論文 参考訳(メタデータ) (2021-06-24T19:07:40Z) - One Teacher is Enough? Pre-trained Language Model Distillation from
Multiple Teachers [54.146208195806636]
本稿では,事前学習型言語モデル圧縮のためのMT-BERTという多言語知識蒸留フレームワークを提案する。
MT-BERTは、複数の教師PLMから高品質な学生モデルを訓練できることを示す。
PLMの圧縮におけるMT-BERTの有効性を3つのベンチマークデータセットで検証した。
論文 参考訳(メタデータ) (2021-06-02T08:42:33Z) - A Bayesian Multiscale Deep Learning Framework for Flows in Random Media [0.0]
マルチスケール偏微分方程式(PDE)によって制御される複雑なシステムの微細スケールシミュレーションは計算コストが高く,そのような問題に対処する様々なマルチスケール手法が開発されている。
本研究では,学習データに制限のあるマルチスケールPDEのためのハイブリッドディープラーニングとマルチスケールアプローチを提案する。
実演目的では,多孔質メディアフローの問題に焦点をあてる。
画像から画像への教師あり深層学習モデルを用いて,入力透過性場とマルチスケール基底関数のマッピングを学習する。
論文 参考訳(メタデータ) (2021-03-08T23:11:46Z) - Multi-head Knowledge Distillation for Model Compression [65.58705111863814]
そこで本研究では,中間層における特徴マッチングのための補助分類器を用いた簡易実装法を提案する。
提案手法は,本論文で提示された従来手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-12-05T00:49:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。