論文の概要: Compressing Multi-Task Model for Autonomous Driving via Pruning and Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2511.05557v1
• Date: Mon, 03 Nov 2025 18:43:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.437419
• Title: Compressing Multi-Task Model for Autonomous Driving via Pruning and Knowledge Distillation
• Title（参考訳）: プルーニングと知識蒸留による自律走行のためのマルチタスクモデル圧縮
• Authors: Jiayuan Wang, Q. M. Jonathan Wu, Ning Zhang, Katsuya Suto, Lei Zhong,
• Abstract要約: 本稿では,タスク認識型安全なプルーニングと特徴レベルの知識蒸留を組み合わせたマルチタスクモデル圧縮フレームワークを提案する。 BDD100Kデータセットの実験では、圧縮されたモデルがパラメータの32.7%の削減を実現している。 圧縮されたモデルは、リアルタイムに32.7 FPSで動作する。
• 参考スコア（独自算出の注目度）: 23.08627330312648
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous driving systems rely on panoptic perception to jointly handle object detection, drivable area segmentation, and lane line segmentation. Although multi-task learning is an effective way to integrate these tasks, its increasing model parameters and complexity make deployment on on-board devices difficult. To address this challenge, we propose a multi-task model compression framework that combines task-aware safe pruning with feature-level knowledge distillation. Our safe pruning strategy integrates Taylor-based channel importance with gradient conflict penalty to keep important channels while removing redundant and conflicting channels. To mitigate performance degradation after pruning, we further design a task head-agnostic distillation method that transfers intermediate backbone and encoder features from a teacher to a student model as guidance. Experiments on the BDD100K dataset demonstrate that our compressed model achieves a 32.7% reduction in parameters while segmentation performance shows negligible accuracy loss and only a minor decrease in detection (-1.2% for Recall and -1.8% for mAP50) compared to the teacher. The compressed model still runs at 32.7 FPS in real-time. These results show that combining pruning and knowledge distillation provides an effective compression solution for multi-task panoptic perception.
• Abstract（参考訳）: 自律運転システムは、物体の検出、乾燥可能な領域のセグメンテーション、およびレーン線セグメンテーションを共同で扱うために、パノプティクスの知覚に依存している。 マルチタスク学習はこれらのタスクを統合する効果的な方法であるが、モデルパラメータの増加と複雑化により、オンボードデバイスへのデプロイメントが困難になる。 この課題に対処するために,タスク認識型安全なプルーニングと特徴レベルの知識蒸留を組み合わせたマルチタスクモデル圧縮フレームワークを提案する。 我々の安全なプルーニング戦略は、Taylorベースのチャネル重要度とグラデーションコンフリクトペナルティを統合して、冗長なチャネルと競合するチャネルを除去しながら重要なチャネルを維持する。 刈り込み後の性能劣化を軽減するため,教師から生徒モデルへ中間のバックボーンとエンコーダの特徴を伝達するタスクヘッド非依存蒸留法をさらに設計する。 BDD100Kデータセットを用いた実験では,圧縮モデルではパラメータが32.7%減少し,セグメンテーション性能では検出精度が低下し,リコールが1.2%,mAP50が1.8%低下した。 圧縮されたモデルは、リアルタイムに32.7 FPSで動作する。 これらの結果は, プルーニングと知識蒸留を組み合わせることで, マルチタスク・パノプティクスの知覚に有効な圧縮解が得られることを示している。

関連論文リスト

• Smooth-Distill: A Self-distillation Framework for Multitask Learning with Wearable Sensor Data [0.0]
  本稿では,人間の活動認識(HAR)とセンサ配置検出を同時に行うように設計された,新しい自己蒸留フレームワークであるSmooth-Distillを紹介する。 従来の蒸留法とは異なり, 提案手法では, モデル自体のスムーズな歴史バージョンを教師として利用している。 実験結果から,Smooth-Distill は異なる評価シナリオにおける代替手法よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-06-27T06:51:51Z)
• Token Compensator: Altering Inference Cost of Vision Transformer without Re-Tuning [63.43972993473501]
  視覚変換器(ViT)の訓練と推論を高速化するトークン圧縮 しかし、下流タスクに適用した場合、圧縮度はトレーニングと推論の段階で不一致となる。 本稿では,2段階間の圧縮度を分離するモデル演算フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T10:36:43Z)
• Comb, Prune, Distill: Towards Unified Pruning for Vision Model Compression [24.119415458653616]
  我々はモデル非依存とタスク非依存の両方に同時に対処する新しい統一型刈取フレームワークComb, Prune, Distill (CPD)を提案する。 当社のフレームワークは階層的な階層的な依存性問題を解決するための統合的なステップを採用しており、アーキテクチャの独立性を実現しています。 画像分類では、精度が1.8%、セマンティックセグメンテーションがx1.89、mIoUが5.1%のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-08-06T09:02:31Z)
• Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
  我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。 本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
  論文  参考訳（メタデータ） (2024-05-13T14:54:37Z)
• Remembering Transformer for Continual Learning [9.879896956915598]
  本稿では,脳の補足学習システムにインスパイアされたリマインドトランスフォーマーを提案する。 覚えておくTransformerは、アダプタの混合アーキテクチャと、生成モデルに基づく新規性検出機構を採用している。 本研究は, 新奇性検出機構のアブレーション研究や, 適応剤のモデルキャパシティなど, 広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2024-04-11T07:22:14Z)
• TSCM: A Teacher-Student Model for Vision Place Recognition Using Cross-Metric Knowledge Distillation [6.856317526681759]
  視覚的位置認識は、移動ロボットの自律的な探索とナビゲーションにおいて重要な役割を果たす。 既存の手法では、強力だが大規模なネットワークを利用することでこれを克服している。 本稿では,TSCMと呼ばれる高性能な教師と軽量な学生蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-02T02:29:41Z)
• The Surprising Effectiveness of Skip-Tuning in Diffusion Sampling [78.6155095947769]
  Skip-Tuningは、スキップ接続上でシンプルだが驚くほど効果的にトレーニング不要なチューニング方法である。 ImageNet 64 では 19 NFE (1.75) で事前訓練された EDM に対して100% FID の改善が可能である。 Skip-Tuningは画素空間におけるスコアマッチング損失を増加させる一方、特徴空間における損失は減少する。
  論文  参考訳（メタデータ） (2024-02-23T08:05:23Z)
• Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
  本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
  論文  参考訳（メタデータ） (2023-08-17T17:17:08Z)
• DiSparse: Disentangled Sparsification for Multitask Model Compression [92.84435347164435]
  DiSparseは、シンプルで効果的で、第一級のマルチタスクプルーニングとスパーストレーニングスキームである。 実験の結果,様々な設定や設定において優れた性能を示した。
  論文  参考訳（メタデータ） (2022-06-09T17:57:46Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。