Fugu-MT 論文翻訳(概要): DINO Pre-training for Vision-based End-to-end Autonomous Driving

論文の概要: DINO Pre-training for Vision-based End-to-end Autonomous Driving

arxiv url: http://arxiv.org/abs/2407.10803v1
Date: Mon, 15 Jul 2024 15:18:57 GMT
ステータス: 処理完了
システム内更新日: 2024-07-16 14:39:57.513906
Title: DINO Pre-training for Vision-based End-to-end Autonomous Driving
Title（参考訳）: ビジョンに基づくエンドツーエンド自動運転のためのDINO事前学習
Authors: Shubham Juneja, Povilas Daniušis, Virginijus Marcinkevičius,
Abstract要約: 本研究では,ラベルのない自己蒸留法(DINO)を用いた運転エージェントの視覚エンコーダの事前学習を提案する。 Leaderboard のベンチマークにより,CARLA環境における実験により,提案した事前学習は,分類に基づく事前学習よりも効率的であることが判明した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this article, we focus on the pre-training of visual autonomous driving agents in the context of imitation learning. Current methods often rely on a classification-based pre-training, which we hypothesise to be holding back from extending capabilities of implicit image understanding. We propose pre-training the visual encoder of a driving agent using the self-distillation with no labels (DINO) method, which relies on a self-supervised learning paradigm.% and is trained on an unrelated task. Our experiments in CARLA environment in accordance with the Leaderboard benchmark reveal that the proposed pre-training is more efficient than classification-based pre-training, and is on par with the recently proposed pre-training based on visual place recognition (VPRPre).
Abstract（参考訳）: 本稿では、模倣学習の文脈における視覚自律運転エージェントの事前学習に焦点を当てる。現在の手法は、しばしば分類に基づく事前学習に依存しており、暗黙的な画像理解の能力の拡張を控えていると仮定する。本稿では,自己教師型学習パラダイムに依存するラベルなしの自己蒸留法(DINO)を用いて,運転エージェントの視覚エンコーダを事前学習することを提案する。 %であり,無関係な課題で訓練を受けた。 CARLA環境におけるCARLA環境における実験から,提案した事前学習は分類に基づく事前学習よりも効率的であり,最近提案した視覚的位置認識(VPRPre)と同等であることがわかった。

関連論文リスト

Prior Learning in Introspective VAEs [24.271671383057598]
変分オートエンコーダ(VAE)は教師なし学習とデータ生成のための一般的なフレームワークである。本研究では,Soft-IntroVAEに着目し,マルチモーダルで学習可能なフレームワークをこのフレームワークに組み込むことの意味について検討する。
論文参考訳（メタデータ） (2024-08-25T10:54:25Z)
Stable Distillation: Regularizing Continued Pre-training for Low-Resource Automatic Speech Recognition [54.9235160379917]
安定蒸留はSSLベースの継続事前トレーニングのためのシンプルで斬新なアプローチである。これにより、ラベル付きデータとラベルなしデータの両方が制限されたターゲットドメインでのASRパフォーマンスが向上する。
論文参考訳（メタデータ） (2023-12-20T06:02:12Z)
Value Explicit Pretraining for Learning Transferable Representations [11.069853883599102]
本稿では,伝達強化学習のための一般化可能な表現を学習する手法を提案する。我々は、目的条件付き表現のためのエンコーダを学習することで、前回学習したタスクと同様の目的を共有する新しいタスクを学ぶ。現実的なナビゲーションシミュレータとAtariベンチマークを用いて実験したところ,本手法により生成された事前学習エンコーダは,現在のSoTA事前学習法より優れていることがわかった。
論文参考訳（メタデータ） (2023-12-19T17:12:35Z)
PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文参考訳（メタデータ） (2023-09-13T17:55:11Z)
Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文参考訳（メタデータ） (2022-09-30T02:25:12Z)
Preserve Pre-trained Knowledge: Transfer Learning With Self-Distillation For Action Recognition [8.571437792425417]
本研究では,大規模データセットから学習した事前学習モデルから知識を保存するために,微調整における自己蒸留を併用した新しい伝達学習手法を提案する。具体的には,最後のエポックから教師モデルとしてエンコーダを固定し,トランスファー学習における現在のエポックからエンコーダのトレーニングを指導する。
論文参考訳（メタデータ） (2022-05-01T16:31:25Z)
Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
論文参考訳（メタデータ） (2022-03-25T19:44:09Z)
Just Label What You Need: Fine-Grained Active Selection for Perception and Prediction through Partially Labeled Scenes [78.23907801786827]
提案手法は,コストに配慮した手法と,部分的にラベル付けされたシーンを通じて詳細なサンプル選択を可能にする一般化を導入している。実世界の大規模自動運転データセットに関する我々の実験は、微粒な選択が知覚、予測、下流計画タスクのパフォーマンスを向上させることを示唆している。
論文参考訳（メタデータ） (2021-04-08T17:57:41Z)
Bootstrapped Self-Supervised Training with Monocular Video for Semantic Segmentation and Depth Estimation [11.468537169201083]
ラベル付きデータセット上の教師付きトレーニングでシステムが初期ブートストラップされる自己教師付き学習問題を定式化する。本研究では,単眼映像におけるフレーム間の時間的一貫性を利用して自己監督訓練を行う。さらに,自己指導型学習フレームワークは,ネットワークが純粋指導型トレーニングや自己指導型トレーニングよりも深度推定を学習しやすいことを示す。
論文参考訳（メタデータ） (2021-03-19T21:28:58Z)
Coarse-to-Fine Pre-training for Named Entity Recognition [26.00489191164784]
NER固有の事前学習フレームワークを提案し、粗大から細小まで自動的に抽出された実体知識を事前学習モデルに注入する。本フレームワークは,事前学習したベースラインに対する大幅な改善を実現し,3つのベンチマークに対して,新しい最先端のパフォーマンスを確立する。
論文参考訳（メタデータ） (2020-10-16T07:39:20Z)
Recall and Learn: Fine-tuning Deep Pretrained Language Models with Less Forgetting [66.45372974713189]
本稿では,マルチタスク学習の概念を取り入れたリコール・アンド・ラーニング機構を提案し,事前学習タスクと下流タスクを共同で学習する。実験により,本手法はGLUEベンチマークの最先端性能を実現することが示された。我々はオープンソースのRecAdamを提供し、提案されたメカニズムをAdamに統合し、NLPコミュニティを施設化する。
論文参考訳（メタデータ） (2020-04-27T08:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。