論文の概要: Task-Oriented Pre-Training for Drivable Area Detection

• arxiv url: http://arxiv.org/abs/2409.20166v1
• Date: Mon, 30 Sep 2024 10:25:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 13:07:12.741057
• Title: Task-Oriented Pre-Training for Drivable Area Detection
• Title（参考訳）: 乾燥領域検出のためのタスク指向事前訓練
• Authors: Fulong Ma, Guoyang Zhao, Weiqing Qi, Ming Liu, Jun Ma,
• Abstract要約: 本稿では,冗長なセグメンテーションの提案から始まるタスク指向の事前学習手法を提案する。 次に、コントラスト言語画像事前学習(CLIP)モデルを微調整するための特定カテゴリー強化微調整(SCEF)戦略を導入する。 このアプローチは、手動のアノテートデータを使用してさらに微調整された事前学習モデルの粗いトレーニングデータを生成することができる。
• 参考スコア（独自算出の注目度）: 5.57325257338134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-training techniques play a crucial role in deep learning, enhancing models' performance across a variety of tasks. By initially training on large datasets and subsequently fine-tuning on task-specific data, pre-training provides a solid foundation for models, improving generalization abilities and accelerating convergence rates. This approach has seen significant success in the fields of natural language processing and computer vision. However, traditional pre-training methods necessitate large datasets and substantial computational resources, and they can only learn shared features through prolonged training and struggle to capture deeper, task-specific features. In this paper, we propose a task-oriented pre-training method that begins with generating redundant segmentation proposals using the Segment Anything (SAM) model. We then introduce a Specific Category Enhancement Fine-tuning (SCEF) strategy for fine-tuning the Contrastive Language-Image Pre-training (CLIP) model to select proposals most closely related to the drivable area from those generated by SAM. This approach can generate a lot of coarse training data for pre-training models, which are further fine-tuned using manually annotated data, thereby improving model's performance. Comprehensive experiments conducted on the KITTI road dataset demonstrate that our task-oriented pre-training method achieves an all-around performance improvement compared to models without pre-training. Moreover, our pre-training method not only surpasses traditional pre-training approach but also achieves the best performance compared to state-of-the-art self-training methods.
• Abstract（参考訳）: 事前トレーニング技術は、ディープラーニングにおいて重要な役割を担い、さまざまなタスクにわたるモデルのパフォーマンスを向上させる。 最初は大規模なデータセットでトレーニングし、その後タスク固有のデータで微調整することで、プレトレーニングはモデルのための強固な基盤を提供し、一般化能力を改善し、収束率を加速する。 このアプローチは自然言語処理とコンピュータビジョンの分野で大きな成功を収めた。 しかし、従来の事前トレーニング手法では、大規模なデータセットと相当量の計算リソースを必要とするため、長いトレーニングとタスク固有のより深い特徴の獲得に苦労することで、共有機能のみを学ぶことができる。 本稿では,Segment Anything(SAM)モデルを用いて,冗長なセグメンテーション提案を生成するタスク指向事前学習手法を提案する。 次に,コントラスト言語-画像事前学習(CLIP)モデルを微調整するための特定カテゴリー強化細調整(SCEF)戦略を導入する。 このアプローチは、手動のアノテートデータを用いてさらに微調整された事前学習モデルの粗いトレーニングデータを生成することができ、モデルの性能が向上する。 KITTIロードデータセットを用いた総合的な実験により,タスク指向の事前学習手法は,事前学習を行わないモデルと比較して,全周的な性能向上を実現することが示された。 さらに,本手法は従来の事前学習手法を超越するだけでなく,最先端の自己学習手法よりも優れた性能を発揮する。

関連論文リスト

• A Supervised Contrastive Learning Pretrain-Finetune Approach for Time Series [15.218841180577135]
  本稿では,教師付きコントラスト学習を利用して,事前学習データセット内の特徴を識別する新しい事前学習手法を提案する。 次に、事前学習データセットの学習力学とより密に連携することで、目標データの正確な予測を強化するための微調整手順を提案する。
  論文  参考訳（メタデータ） (2023-11-21T02:06:52Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Towards All-in-one Pre-training via Maximizing Multi-modal Mutual Information [77.80071279597665]
  マルチモーダル相互情報事前学習(M3I事前学習)を最大化するオールインワン単段階事前学習手法を提案する。 提案手法は,ImageNet分類,オブジェクト検出,LVIS長鎖オブジェクト検出,ADE20kセマンティックセマンティックセマンティックセマンティクスなど,様々なビジョンベンチマークにおける事前学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-11-17T18:59:49Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• Recall and Learn: Fine-tuning Deep Pretrained Language Models with Less Forgetting [66.45372974713189]
  本稿では,マルチタスク学習の概念を取り入れたリコール・アンド・ラーニング機構を提案し,事前学習タスクと下流タスクを共同で学習する。 実験により,本手法はGLUEベンチマークの最先端性能を実現することが示された。 我々はオープンソースのRecAdamを提供し、提案されたメカニズムをAdamに統合し、NLPコミュニティを施設化する。
  論文  参考訳（メタデータ） (2020-04-27T08:59:57Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。