Fugu-MT 論文翻訳(概要): Learning to Project for Cross-Task Knowledge Distillation

論文の概要: Learning to Project for Cross-Task Knowledge Distillation

arxiv url: http://arxiv.org/abs/2403.14494v1
Date: Thu, 21 Mar 2024 15:42:17 GMT
ステータス: 処理完了
システム内更新日: 2024-03-22 13:39:41.908615
Title: Learning to Project for Cross-Task Knowledge Distillation
Title（参考訳）: クロスタスク知識蒸留のためのプロジェクト学習
Authors: Dylan Auty, Roy Miles, Benedikt Kolbeinsson, Krystian Mikolajczyk,
Abstract要約: クロスタスク蒸留は使用でき、異なるタスクで訓練された教師モデルを使用することができる。多くのKD法は、このクロスタスク設定に適用しても効果がないことを証明している。この標準プロジェクタのドロップイン置換は,タスク固有の機能を無視して学習することで有効であることを示す。
参考スコア（独自算出の注目度）: 15.649420473539186
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Traditional knowledge distillation (KD) relies on a proficient teacher trained on the target task, which is not always available. In this setting, cross-task distillation can be used, enabling the use of any teacher model trained on a different task. However, many KD methods prove ineffective when applied to this cross-task setting. To address this limitation, we propose a simple modification: the use of an inverted projection. We show that this drop-in replacement for a standard projector is effective by learning to disregard any task-specific features which might degrade the student's performance. We find that this simple modification is sufficient for extending many KD methods to the cross-task setting, where the teacher and student tasks can be very different. In doing so, we obtain up to a 1.9% improvement in the cross-task setting compared to the traditional projection, at no additional cost. Our method can obtain significant performance improvements (up to 7%) when using even a randomly-initialised teacher on various tasks such as depth estimation, image translation, and semantic segmentation, despite the lack of any learned knowledge to transfer. To provide conceptual and analytical insights into this result, we show that using an inverted projection allows the distillation loss to be decomposed into a knowledge transfer and a spectral regularisation component. Through this analysis we are additionally able to propose a novel regularisation loss that allows teacher-free distillation, enabling performance improvements of up to 8.57% on ImageNet with no additional training costs.
Abstract（参考訳）: 伝統的な知識蒸留(KD)は、ターゲットタスクで訓練された熟練した教師に依存しており、必ずしも利用できない。この設定では、クロスタスク蒸留が使用でき、異なるタスクでトレーニングされた教師モデルを使用することができる。しかし、このクロスタスク設定に適用した場合、多くのKD法は効果がないことを証明している。この制限に対処するため、逆射影の使用という単純な修正を提案する。本稿では,標準プロジェクタのドロップイン置換が,生徒のパフォーマンスを低下させる可能性のあるタスク固有の特徴を無視して学習することで有効であることを示す。この単純な修正は、教師と生徒のタスクが全く異なるクロスタスク設定に多くのKDメソッドを拡張するのに十分である。これにより、従来のプロジェクションと比較して、最大1.9%のクロスタスク設定の改善を、追加コストなしで得ることができる。本手法は, 学習知識の不足にもかかわらず, 奥行き推定, 画像翻訳, セマンティックセグメンテーションといった様々なタスクにおいて, ランダムに開始した教師であっても, 7%までの大幅な性能向上が得られる。この結果について概念的・分析的な知見を得るため,逆投影法を用いることで,蒸留損失を知識伝達とスペクトル正規化成分に分解できることが示唆された。この分析により、教師なしの蒸留を可能にし、追加のトレーニングコストなしでImageNetで最大8.57%の性能向上を可能にする、新たな正規化損失を提案することができる。

関連論文リスト

Task Weighting through Gradient Projection for Multitask Learning [5.5967570276373655]
マルチタスク学習では、タスク勾配間の衝突は、モデルのトレーニングパフォーマンスを劣化させる頻繁な問題である。本研究では,タスク優先順位付けを同時に行うために,グラディエント・プロジェクション・アルゴリズムであるPCGradを適用する手法を提案する。従来のタスクの重み付けとは違い、重み付け方式は、タスクが矛盾している場合にのみ適用されるが、トレーニングを妨げない場合にのみ適用される。
論文参考訳（メタデータ） (2024-09-03T11:17:44Z)
Relative Difficulty Distillation for Semantic Segmentation [54.76143187709987]
我々は,Relative Difficulty Distillation (RDD) というセマンティックセグメンテーションのための画素レベルのKDパラダイムを提案する。 RDDにより、教師ネットワークは、追加の最適化目標を伴わずに、学習焦点に対する効果的なガイダンスを提供することができる。我々の研究は、RDDが既存のKDメソッドと統合して、上位パフォーマンスバウンダリを改善できることを示します。
論文参考訳（メタデータ） (2024-07-04T08:08:25Z)
PEMT: Multi-Task Correlation Guided Mixture-of-Experts Enables Parameter-Efficient Transfer Learning [28.353530290015794]
マルチタスク変換学習に基づくパラメータ効率の高いファインチューニングフレームワークPEMTを提案する。我々は17のデータセットにまたがる幅広いタスクについて実験を行う。
論文参考訳（メタデータ） (2024-02-23T03:59:18Z)
ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
論文参考訳（メタデータ） (2023-01-30T02:27:02Z)
Improved knowledge distillation by utilizing backward pass knowledge in neural networks [17.437510399431606]
知識蒸留(KD)は、モデル圧縮において重要な技術の一つである。本研究では,教師の後方パスから知識を抽出し,新たな補助訓練サンプルを作成する。自然言語処理(NLP)と言語理解(Language understanding)の応用において,この手法がいかにうまく利用できるかを示す。
論文参考訳（メタデータ） (2023-01-27T22:07:38Z)
On effects of Knowledge Distillation on Transfer Learning [0.0]
本稿では,知識蒸留と伝達学習を組み合わせたTL+KDという機械学習アーキテクチャを提案する。我々は,教師ネットワークの指導と知識を微調整中に利用することにより,学生ネットワークを改良し,精度などの検証性能を向上させることができることを示した。
論文参考訳（メタデータ） (2022-10-18T08:11:52Z)
Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
論文参考訳（メタデータ） (2022-09-20T16:36:28Z)
Parameter-Efficient and Student-Friendly Knowledge Distillation [83.56365548607863]
本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
論文参考訳（メタデータ） (2022-05-28T16:11:49Z)
Faculty Distillation with Optimal Transport [53.69235109551099]
本稿では,教師の課題と生徒の課題を最適な輸送手段で結びつけることを提案する。ラベル空間間の意味的関係に基づき、出力分布間の支持ギャップを埋めることができる。各種条件下での実験は,提案手法の簡潔さと汎用性を示すものである。
論文参考訳（メタデータ） (2022-04-25T09:34:37Z)
Boosting Light-Weight Depth Estimation Via Knowledge Distillation [21.93879961636064]
本稿では,最小限の計算資源を用いて深度マップを正確に推定できる軽量ネットワークを提案する。モデル複雑性を最大に低減するコンパクトなモデルアーキテクチャを設計することで、これを実現する。本手法は, パラメータの1%しか使用せず, 最先端手法に匹敵する性能を実現する。
論文参考訳（メタデータ） (2021-05-13T08:42:42Z)
Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
論文参考訳（メタデータ） (2020-05-02T06:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。