論文の概要: A Contrastive Knowledge Transfer Framework for Model Compression and Transfer Learning

• arxiv url: http://arxiv.org/abs/2303.07599v1
• Date: Tue, 14 Mar 2023 02:45:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 16:34:36.159223
• Title: A Contrastive Knowledge Transfer Framework for Model Compression and Transfer Learning
• Title（参考訳）: モデル圧縮と伝達学習のためのコントラスト的知識伝達フレームワーク
• Authors: Kaiqi Zhao, Yitao Chen, Ming Zhao
• Abstract要約: 本稿では,CKTF(Contrastive Knowledge Transfer Framework)を提案する。 CKTFは、教師から生徒への十分な構造的知識の伝達を可能にし、複数の対照的な目的を最適化する。 CKTFは既存のKTを0.04%から11.59%、トランスファーラーニングでは0.4%から4.75%で上回っている。
• 参考スコア（独自算出の注目度）: 5.239675888749389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Transfer (KT) achieves competitive performance and is widely used for image classification tasks in model compression and transfer learning. Existing KT works transfer the information from a large model ("teacher") to train a small model ("student") by minimizing the difference of their conditionally independent output distributions. However, these works overlook the high-dimension structural knowledge from the intermediate representations of the teacher, which leads to limited effectiveness, and they are motivated by various heuristic intuitions, which makes it difficult to generalize. This paper proposes a novel Contrastive Knowledge Transfer Framework (CKTF), which enables the transfer of sufficient structural knowledge from the teacher to the student by optimizing multiple contrastive objectives across the intermediate representations between them. Also, CKTF provides a generalized agreement to existing KT techniques and increases their performance significantly by deriving them as specific cases of CKTF. The extensive evaluation shows that CKTF consistently outperforms the existing KT works by 0.04% to 11.59% in model compression and by 0.4% to 4.75% in transfer learning on various models and datasets.
• Abstract（参考訳）: 知識伝達(kt)は競合性能を達成し、モデル圧縮と転送学習における画像分類タスクに広く用いられている。 既存のKT作業は、条件に依存しない出力分布の違いを最小限に抑えて、大きなモデル(教師)から小さなモデル(学生)を訓練するために情報を転送する。 しかし、これらの著作は教師の中間的な表現から高次元の構造的知識を見落としており、効果が限られており、様々なヒューリスティックな直観に動機付けられており、一般化が難しい。 本稿では,教師から生徒への十分な構造的知識の伝達を,それらの中間表現にまたがって複数のコントラスト的目標を最適化することにより可能とする,新しいコントラスト的知識伝達フレームワーク(cktf)を提案する。 また、CKTFは既存のKT技術に対する一般的な合意を提供し、CKTFの特定のケースとして導出することで、その性能を大幅に向上させる。 CKTFは既存のKTよりも0.04%から11.59%、さまざまなモデルやデータセットでの転送学習では0.4%から4.75%向上している。

関連論文リスト

• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• ELiTe: Efficient Image-to-LiDAR Knowledge Transfer for Semantic Segmentation [15.404188754049317]
  クロスモーダルな知識伝達は、LiDARセマンティックセグメンテーションにおけるポイントクラウド表現学習を強化する。 その可能性にもかかわらず、テキスタイルの教師の挑戦は、反復的で異種でない車のカメラ画像と、不正確な地上の真実のラベルによって生じる。 本稿では,この問題を解決するために,効率的な画像からLiDARへの知識伝達(ELiTe)パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-05-07T08:44:13Z)
• Improving Low-Resource Knowledge Tracing Tasks by Supervised Pre-training and Importance Mechanism Fine-tuning [25.566963415155325]
  上記の課題に対処するため,低リソースのKTフレームワークであるLoReKTを提案する。 一般的な"事前学習と微調整"パラダイムにインスパイアされた我々は、リッチリソースのKTデータセットから転送可能なパラメータと表現を学習することを目指している。 複数のKTデータソースからの学生のインタラクションを組み込むエンコーディング機構を設計する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:43Z)
• Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
  知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。 既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。 相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:34:48Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• Common Knowledge Learning for Generating Transferable Adversarial Examples [60.1287733223249]
  本稿では,代用(ソース)モデルにより敵のサンプルを生成するブラックボックス攻撃の重要タイプに着目した。 既存の手法では、ソースモデルとターゲットモデルが異なるタイプのDNNアーキテクチャのものである場合、不満足な逆転が生じる傾向にある。 本稿では,より優れたネットワーク重みを学習し,敵対的な例を生成するための共通知識学習(CKL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-01T09:07:12Z)
• CORSD: Class-Oriented Relational Self Distillation [16.11986532440837]
  知識蒸留は、いくつかの制限を保ちながら効果的なモデル圧縮方法を実行する。 制約に対処するために,クラス指向自己蒸留(CORSD)という新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-28T16:00:31Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)
• Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
  クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。 本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。 我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
  論文  参考訳（メタデータ） (2020-03-23T08:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。