論文の概要: JointDistill: Adaptive Multi-Task Distillation for Joint Depth Estimation and Scene Segmentation

• arxiv url: http://arxiv.org/abs/2505.10057v1
• Date: Thu, 15 May 2025 08:00:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.233381
• Title: JointDistill: Adaptive Multi-Task Distillation for Joint Depth Estimation and Scene Segmentation
• Title（参考訳）: 関節深度推定とシーンセグメンテーションのための適応型マルチタスク蒸留法
• Authors: Tiancong Cheng, Ying Zhang, Yuxuan Liang, Roger Zimmermann, Zhiwen Yu, Bin Guo,
• Abstract要約: この研究は、マルチタスク蒸留を用いて統一モデリングを改善する方法について検討する。 学生の現在の学習能力に応じて各教師の知識量を調整できる自己適応型蒸留法を提案する。 我々は,CityscapesやNYU-v2など,複数のベンチマークデータセットについて評価を行った。
• 参考スコア（独自算出の注目度）: 31.89422375115854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth estimation and scene segmentation are two important tasks in intelligent transportation systems. A joint modeling of these two tasks will reduce the requirement for both the storage and training efforts. This work explores how the multi-task distillation could be used to improve such unified modeling. While existing solutions transfer multiple teachers' knowledge in a static way, we propose a self-adaptive distillation method that can dynamically adjust the knowledge amount from each teacher according to the student's current learning ability. Furthermore, as multiple teachers exist, the student's gradient update direction in the distillation is more prone to be erroneous where knowledge forgetting may occur. To avoid this, we propose a knowledge trajectory to record the most essential information that a model has learnt in the past, based on which a trajectory-based distillation loss is designed to guide the student to follow the learning curve similarly in a cost-effective way. We evaluate our method on multiple benchmarking datasets including Cityscapes and NYU-v2. Compared to the state-of-the-art solutions, our method achieves a clearly improvement. The code is provided in the supplementary materials.
• Abstract（参考訳）: 深度推定とシーンセグメンテーションはインテリジェント交通システムにおける2つの重要な課題である。 これら2つのタスクを共同でモデリングすることで、ストレージとトレーニングの両方の労力を削減できる。 この研究は、このような統一モデリングを改善するためにマルチタスク蒸留をいかに利用できるかを考察する。 既存のソリューションは,複数の教師の知識を静的に伝達する一方で,生徒の現在の学習能力に応じて,各教師の知識量を動的に調整できる自己適応型蒸留法を提案する。 さらに、複数の教師が存在するため、学生の蒸留における勾配更新方向は、知識が忘れられてしまうと誤る傾向にある。 これを回避するため,本研究では,モデルが過去に学んだ最も重要な情報を記録するための知識軌跡を提案し,そこでは,学習曲線に従うための軌跡に基づく蒸留損失を設計し,コスト効率のよい方法で学習曲線に従うように指導する。 我々は,CityscapesやNYU-v2など,複数のベンチマークデータセットについて評価を行った。 最先端のソリューションと比較して,本手法は明らかに改善されている。 コードは補充材料で提供される。

関連論文リスト

• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Learning to Maximize Mutual Information for Chain-of-Thought Distillation [13.660167848386806]
  Distilling Step-by-Step(DSS)は、より大きなモデルよりも優れた推論能力を持つ小さなモデルを投入することで、約束を証明している。 しかし、DSSは2つのトレーニングタスクの本質的な関係を見落とし、CoT知識とラベル予測のタスクの非効率な統合につながる。 学習に基づく手法を用いて,この問題を解決するための変分手法を提案する。
  論文  参考訳（メタデータ） (2024-03-05T22:21:45Z)
• CMD: Self-supervised 3D Action Representation Learning with Cross-modal Mutual Distillation [130.08432609780374]
  3D行動認識では、骨格のモダリティの間に豊富な相補的な情報が存在する。 本稿では,CMD(Cross-modal Mutual Distillation)フレームワークを提案する。 提案手法は,既存の自己管理手法より優れ,新しい記録を多数設定する。
  論文  参考訳（メタデータ） (2022-08-26T06:06:09Z)
• Cross-Task Knowledge Distillation in Multi-Task Recommendation [41.62428191434233]
  マルチタスク学習は、さまざまなタイプのユーザフィードバックを予測するために、現実世界のレコメンデータで広く利用されている。 本稿では,3つの手順からなるクロスタスク知識蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-20T16:15:19Z)
• Information Theoretic Representation Distillation [20.802135299032308]
  情報理論と知識蒸留の代替関係を,最近提案したエントロピー様関数を用いて構築する。 本手法は,知識蒸留とクロスモデル伝達タスクの最先端技術に対する競争性能を実現する。 バイナリ量子化のための新しい最先端技術に光を当てた。
  論文  参考訳（メタデータ） (2021-12-01T12:39:50Z)
• Multi-Scale Aligned Distillation for Low-Resolution Detection [68.96325141432078]
  本稿では,高分解能モデルや多分解能モデルから知識を抽出することで,低分解能モデルの性能を向上させることに焦点を当てる。 いくつかのインスタンスレベルの検出タスクとデータセットにおいて,本手法を用いて訓練された低解像度モデルと,従来のマルチスケールトレーニングによる訓練された高解像度モデルとを競合的に処理する。
  論文  参考訳（メタデータ） (2021-09-14T12:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。