Fugu-MT 論文翻訳(概要): Transferring Inter-Class Correlation

論文の概要: Transferring Inter-Class Correlation

arxiv url: http://arxiv.org/abs/2008.10444v1
Date: Tue, 11 Aug 2020 13:24:44 GMT
ステータス: 処理完了
システム内更新日: 2022-10-31 10:55:13.358928
Title: Transferring Inter-Class Correlation
Title（参考訳）: クラス間相関の伝達
Authors: Hui Wen, Yue Wu, Chenming Yang, Jingjing Li, Yue Zhu, Xu Jiang, Hancong Duan
Abstract要約: Teacher-Student (T-S) フレームワークは分類タスクで広く利用されている。我々は,新たな伝達知識,自己認識に基づくクラス間相関(ICC)マップを出力層に設計し,T-Sフレームワークであるクラス間相関変換(ICCT)を提案する。
参考スコア（独自算出の注目度）: 13.877260506719743
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The Teacher-Student (T-S) framework is widely utilized in the classification tasks, through which the performance of one neural network (the student) can be improved by transferring knowledge from another trained neural network (the teacher). Since the transferring knowledge is related to the network capacities and structures between the teacher and the student, how to define efficient knowledge remains an open question. To address this issue, we design a novel transferring knowledge, the Self-Attention based Inter-Class Correlation (ICC) map in the output layer, and propose our T-S framework, Inter-Class Correlation Transfer (ICCT).
Abstract（参考訳）: 教師-学生(T-S)フレームワークは、あるニューラルネットワーク(学生)のパフォーマンスを、別の訓練されたニューラルネットワーク(教師)から知識を伝達することによって改善することのできる分類タスクで広く利用されている。伝達知識は教師と生徒の間のネットワーク能力と構造に関係しているため、効率的な知識を定義する方法が未解決の問題である。この問題に対処するため,我々は,自己認識に基づくクラス間相関(ICC)マップを出力層に新たに設計し,T-Sフレームワークであるクラス間相関変換(ICCT)を提案する。

関連論文リスト

Harmonizing knowledge Transfer in Neural Network with Unified Distillation [20.922545937770085]
知識蒸留(KD)は、アーキテクチャを変更することなく、面倒なネットワーク(教師)から軽量なネットワーク(学生)に知識を伝達する能力で知られている。本稿では,統一KDフレームワークにおける多様な知識源を活用することによって,新たな視点を紹介する。
論文参考訳（メタデータ） (2024-09-27T09:09:45Z)
Direct Distillation between Different Domains [97.39470334253163]
異なるドメイン間の直接蒸留(4Ds)と呼ばれる新しいワンステージ手法を提案する。まず、Fourier変換に基づいて学習可能なアダプタを設計し、ドメイン固有の知識からドメイン不変知識を分離する。次に、価値あるドメイン不変知識を学生ネットワークに転送するための融合活性化機構を構築する。
論文参考訳（メタデータ） (2024-01-12T02:48:51Z)
Dense Network Expansion for Class Incremental Learning [61.00081795200547]
最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
論文参考訳（メタデータ） (2023-03-22T16:42:26Z)
TAKT: Target-Aware Knowledge Transfer for Whole Slide Image Classification [46.803231708918624]
本稿では,教師-学生パラダイムを取り入れた目標認識型知識伝達フレームワークを提案する。我々のフレームワークは、教師モデルがソースとターゲットドメインから共通知識を学習することを可能にする。本手法は,各種データセット上での知識伝達手法の最先端性能を実現する。
論文参考訳（メタデータ） (2023-03-10T08:29:35Z)
Learning Knowledge Representation with Meta Knowledge Distillation for Single Image Super-Resolution [82.89021683451432]
単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
論文参考訳（メタデータ） (2022-07-18T02:41:04Z)
Self-Supervised Knowledge Transfer via Loosely Supervised Auxiliary Tasks [24.041268664220294]
畳み込みニューラルネットワーク(CNN)を用いた知識伝達は、より少ないパラメータでCNNを効率的に訓練したり、限られた監督下での一般化性能を最大化することができる。本稿では,ネットワーク構造やデータセットに制約を加えることなく,シンプルな知識伝達手法を提案する。本研究では,従来の知識を現在の学習プロセスに伝達する学習手法を,ソフトラベルを用いた自己監督を通じて,目標タスクの補助的タスクとして考案する。
論文参考訳（メタデータ） (2021-10-25T07:18:26Z)
Distilling Knowledge via Knowledge Review [69.15050871776552]
教師と学生のネットワーク間の接続経路のクロスレベル要因を研究し、その大きな重要性を明らかにします。知識蒸留において初めて, クロスステージ接続経路が提案されている。最終的に設計されたネストでコンパクトなフレームワークは、無視できるオーバーヘッドを必要とし、さまざまなタスクで他のメソッドよりも優れています。
論文参考訳（メタデータ） (2021-04-19T04:36:24Z)
Network-Agnostic Knowledge Transfer for Medical Image Segmentation [2.25146058725705]
教師から学生ネットワークへのナレッジトランスファーアプローチを提案し、学生を独立したトランスファーデータセットでトレーニングします。一つの教師からの知識伝達,知識伝達と微調整の組み合わせ,および複数の教師からの知識伝達について検討した。提案アルゴリズムは知識伝達に有効であり、容易に調整できる。
論文参考訳（メタデータ） (2021-01-23T19:06:14Z)
Interactive Knowledge Distillation [79.12866404907506]
本稿では,効率的な知識蒸留のための対話型指導戦略を活用するために,対話型知識蒸留方式を提案する。蒸留工程では,教師と学生のネットワーク間の相互作用を交換操作により行う。教員ネットワークの典型的な設定による実験により,IAKDで訓練された学生ネットワークは,従来の知識蒸留法で訓練された学生ネットワークよりも優れた性能を示した。
論文参考訳（メタデータ） (2020-07-03T03:22:04Z)
Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
論文参考訳（メタデータ） (2020-03-23T08:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。