論文の概要: Deep Ensemble Collaborative Learning by using Knowledge-transfer Graph
for Fine-grained Object Classification
- arxiv url: http://arxiv.org/abs/2103.14845v1
- Date: Sat, 27 Mar 2021 08:56:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 15:08:08.406691
- Title: Deep Ensemble Collaborative Learning by using Knowledge-transfer Graph
for Fine-grained Object Classification
- Title（参考訳）: 細粒度物体分類のための知識伝達グラフを用いた深層協調学習
- Authors: Naoki Okamoto, Soma Minami, Tsubasa Hirakawa, Takayoshi Yamashita,
Hironobu Fujiyoshi
- Abstract要約: 相互学習を施したネットワークのアンサンブルのパフォーマンスは,通常のアンサンブルに比べて,相互学習なしには改善しない。
これは相互学習における知識とアンサンブルにおけるネットワークの個性の関係によるものかもしれない。
本稿では,相互学習におけるネットワーク間の多様性を促進する損失設計を導入することにより,知識伝達を用いたアンサンブル手法を提案する。
- 参考スコア（独自算出の注目度）: 9.49864824780503
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mutual learning, in which multiple networks learn by sharing their knowledge,
improves the performance of each network. However, the performance of ensembles
of networks that have undergone mutual learning does not improve significantly
from that of normal ensembles without mutual learning, even though the
performance of each network has improved significantly. This may be due to the
relationship between the knowledge in mutual learning and the individuality of
the networks in the ensemble. In this study, we propose an ensemble method
using knowledge transfer to improve the accuracy of ensembles by introducing a
loss design that promotes diversity among networks in mutual learning. We use
an attention map as knowledge, which represents the probability distribution
and information in the middle layer of a network. There are many ways to
combine networks and loss designs for knowledge transfer methods. Therefore, we
use the automatic optimization of knowledge-transfer graphs to consider a
variety of knowledge-transfer methods by graphically representing conventional
mutual-learning and distillation methods and optimizing each element through
hyperparameter search. The proposed method consists of a mechanism for
constructing an ensemble in a knowledge-transfer graph, attention loss, and a
loss design that promotes diversity among networks. We explore optimal ensemble
learning by optimizing a knowledge-transfer graph to maximize ensemble
accuracy. From exploration of graphs and evaluation experiments using the
datasets of Stanford Dogs, Stanford Cars, and CUB-200-2011, we confirm that the
proposed method is more accurate than a conventional ensemble method.
- Abstract（参考訳）: 複数のネットワークが知識を共有して学習する相互学習は、各ネットワークのパフォーマンスを向上させる。
しかし、相互学習を施したネットワークのアンサンブルのパフォーマンスは、各ネットワークのパフォーマンスが大幅に向上したにもかかわらず、相互学習なしでは通常のアンサンブルに比べて大きくは向上しない。
これは相互学習における知識とアンサンブルにおけるネットワークの個性の関係によるものかもしれない。
本研究では,相互学習におけるネットワーク間の多様性を促進する損失設計を導入することにより,知識伝達を用いたアンサンブル手法を提案する。
我々は,ネットワークの中間層における確率分布と情報を表すアテンションマップを知識として利用する。
知識伝達手法にはネットワークと損失設計を組み合わせる多くの方法がある。
そこで,従来の相互学習・蒸留法をグラフィカルに表現し,ハイパーパラメータ探索により各要素を最適化することにより,知識伝達グラフの自動最適化を行い,様々な知識伝達法を検討する。
提案手法は,知識伝達グラフにおけるアンサンブル構築機構,注意損失,ネットワーク間の多様性を促進する損失設計から構成される。
我々は,知識伝達グラフを最適化し,アンサンブルの精度を最大化することで,最適なアンサンブル学習を探索する。
スタンフォード・ドッグス、スタンフォード・カーズ、CUB-200-2011のデータセットを用いたグラフの探索と評価実験から,提案手法が従来のアンサンブル法よりも精度が高いことを確認した。
関連論文リスト
- Distribution Shift Matters for Knowledge Distillation with Webly
Collected Images [91.66661969598755]
異なる分布間の知識蒸留という新しい手法を提案する(KD$3$)。
まず,教師ネットワークと学生ネットワークの併用予測に基づいて,Webで収集したデータから有用なトレーニングインスタンスを動的に選択する。
また、MixDistributionと呼ばれる新しいコントラスト学習ブロックを構築して、新しい分散のインスタンスアライメントで摂動データを生成します。
論文 参考訳（メタデータ） (2023-07-21T10:08:58Z) - Semantic Enhanced Knowledge Graph for Large-Scale Zero-Shot Learning [74.6485604326913]
我々は、専門知識とカテゴリ意味相関の両方を含む新しい意味強化知識グラフを提供する。
知識グラフの情報伝達のために,Residual Graph Convolutional Network (ResGCN)を提案する。
大規模画像Net-21KデータセットとAWA2データセットを用いた実験により,本手法の有効性が示された。
論文 参考訳（メタデータ） (2022-12-26T13:18:36Z) - Personalized Decentralized Multi-Task Learning Over Dynamic
Communication Graphs [59.96266198512243]
本稿では,正と負の相関関係を持つタスクに対する分散・フェデレーション学習アルゴリズムを提案する。
本アルゴリズムでは,タスク間の相関関係を自動的に計算し,コミュニケーショングラフを動的に調整して相互に有益なタスクを接続し,互いに悪影響を及ぼす可能性のあるタスクを分離する。
合成ガウスデータセットと大規模セレブ属性(CelebA)データセットについて実験を行った。
論文 参考訳（メタデータ） (2022-12-21T18:58:24Z) - Leveraging Different Learning Styles for Improved Knowledge Distillation
in Biomedical Imaging [0.9208007322096533]
我々の研究は知識多様化の概念を活用して、知識蒸留(KD)や相互学習(ML)といったモデル圧縮技術の性能を向上させる。
我々は,教師から学生(KD)への知識伝達を可能にすると同時に,学生(ML)間の協調学習を促進する統一的な枠組みで,一教師と二学生のネットワークを利用する。
教師が学生ネットワークと予測や特徴表現の形で同じ知識を共有する従来の手法とは異なり,提案手法では,教師の予測と特徴マップの学習により,より多様化した戦略を採用する。
論文 参考訳（メタデータ） (2022-12-06T12:40:45Z) - Learning Knowledge Representation with Meta Knowledge Distillation for
Single Image Super-Resolution [82.89021683451432]
単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。
種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-07-18T02:41:04Z) - Distilling Holistic Knowledge with Graph Neural Networks [37.86539695906857]
知識蒸留(KD)は、より大規模な教師ネットワークからより小さな学習可能な学生ネットワークへ知識を伝達することを目的としている。
既存のKD法は主に、個々の知識と関係知識の2つの種類の知識を考察してきた。
本稿では, インスタンス間に構築された属性グラフに基づいて, 新たな包括的知識を蒸留する。
論文 参考訳（メタデータ） (2021-08-12T02:47:59Z) - LENAS: Learning-based Neural Architecture Search and Ensemble for 3D Radiotherapy Dose Prediction [42.38793195337463]
本稿では3次元放射線治療線量予測のための知識蒸留とニューラルネットワーク検索を統合した,学習に基づく新しいアンサンブル手法 LENAS を提案する。
当社のアプローチは、巨大なアーキテクチャ空間から各ブロックを徹底的に検索して、有望なパフォーマンスを示す複数のアーキテクチャを識別することから始まります。
モデルアンサンブルによってもたらされる複雑さを軽減するため、教師-学生パラダイムを採用し、複数の学習ネットワークからの多様な出力を監視信号として活用する。
論文 参考訳（メタデータ） (2021-06-12T10:08:52Z) - All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。
具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。
知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
論文 参考訳（メタデータ） (2021-03-02T03:09:03Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Multivariate Relations Aggregation Learning in Social Networks [39.576490107740135]
ソーシャルネットワークのグラフ学習タスクでは,多変量関係情報の識別と活用がより重要である。
既存のグラフ学習手法は近隣情報拡散機構に基づいている。
本稿では,ネットワーク環境における多変量関係情報を効果的に取得できる多変量関係集約学習法を提案する。
論文 参考訳（メタデータ） (2020-08-09T04:58:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。