論文の概要: Competitive Distillation: A Simple Learning Strategy for Improving Visual Classification
- arxiv url: http://arxiv.org/abs/2506.23285v1
- Date: Sun, 29 Jun 2025 15:15:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-01 21:27:53.807675
- Title: Competitive Distillation: A Simple Learning Strategy for Improving Visual Classification
- Title（参考訳）: 競合蒸留:視覚的分類を改善するための単純な学習戦略
- Authors: Daqian Shi, Xiaolei Diao, Xu Chen, Cédric M. John,
- Abstract要約: 本稿では,グループ内の各ネットワークが,その性能に基づいて教師として機能する可能性のある,新たな競争力のある蒸留戦略を提案する。
実験結果から, 多様なタスクやデータセットにおいて, 競争蒸留が有望な性能を達成できることが示唆された。
- 参考スコア（独自算出の注目度）: 15.034368279721198
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Neural Networks (DNNs) have significantly advanced the field of computer vision. To improve DNN training process, knowledge distillation methods demonstrate their effectiveness in accelerating network training by introducing a fixed learning direction from the teacher network to student networks. In this context, several distillation-based optimization strategies are proposed, e.g., deep mutual learning and self-distillation, as an attempt to achieve generic training performance enhancement through the cooperative training of multiple networks. However, such strategies achieve limited improvements due to the poor understanding of the impact of learning directions among networks across different iterations. In this paper, we propose a novel competitive distillation strategy that allows each network in a group to potentially act as a teacher based on its performance, enhancing the overall learning performance. Competitive distillation organizes a group of networks to perform a shared task and engage in competition, where competitive optimization is proposed to improve the parameter updating process. We further introduce stochastic perturbation in competitive distillation, aiming to motivate networks to induce mutations to achieve better visual representations and global optimum. The experimental results show that competitive distillation achieves promising performance in diverse tasks and datasets.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)はコンピュータビジョンの分野を大幅に進歩させた。
DNNトレーニングプロセスを改善するために,教師ネットワークから学生ネットワークに一定の学習方向を導入することにより,ネットワークトレーニングを加速させる上での知識蒸留手法の有効性を実証した。
この文脈では、複数ネットワークの協調学習を通して総合的な訓練性能向上を達成するために、深層学習や自己蒸留など、蒸留に基づく最適化戦略が提案されている。
しかし、これらの戦略は、異なるイテレーションにわたるネットワーク間の学習方向の影響の理解が不十分なため、限定的な改善を実現している。
本稿では,グループ内の各ネットワークが,そのパフォーマンスに基づいて教師として機能し,全体的な学習性能を向上させる,新たな競争力のある蒸留戦略を提案する。
競合蒸留は、ネットワークのグループを編成し、共有タスクを実行し、競争に従事し、パラメータ更新プロセスを改善するために競合最適化を提案する。
さらに, 競争蒸留における確率的摂動を導入し, ネットワークを動機付け, 突然変異を誘発し, より良い視覚表現とグローバルな最適化を実現する。
実験結果から, 多様なタスクやデータセットにおいて, 競争蒸留が有望な性能を達成できることが示唆された。
関連論文リスト
- Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。
解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
論文 参考訳（メタデータ） (2025-06-20T17:54:24Z) - Contrastive Representation Distillation via Multi-Scale Feature Decoupling [0.49157446832511503]
知識蒸留は,小学生ネットワークの性能向上を目的とした技術である。
特徴空間内でのマルチスケールデカップリングを明示的に行う,対照的な表現蒸留手法であるMSDCRDを提案する。
本手法は,同種モデルにおける優れた性能を実現するとともに,多種多様な教師/学生ペア間での効率的な特徴知識の伝達を可能にする。
論文 参考訳（メタデータ） (2025-02-09T10:03:18Z) - Variance-Covariance Regularization Improves Representation Learning [28.341622247252705]
我々は,分散共分散正規化(VCReg)を導入して,自己教師型学習規則化手法を教師型学習コンテキストに適用する。
我々は、VCRegが画像やビデオの転送学習を大幅に強化し、多数のタスクやデータセットで最先端のパフォーマンスを達成することを実証した。
要約すると、VCRegは、転送学習を大幅に進歩させ、勾配飢餓、神経崩壊、特徴伝達可能性の間の接続を強調する、普遍的に適用可能な正規化フレームワークを提供する。
論文 参考訳（メタデータ） (2023-06-23T05:01:02Z) - Stimulative Training++: Go Beyond The Performance Limits of Residual
Networks [91.5381301894899]
残余のネットワークは大きな成功を収め、最近のディープニューラルネットワークモデルでは欠かせないものになっている。
従来の研究では、残余ネットワークは浅いネットワークのアンサンブルと見なせることが示唆されている。
残余ネットワーク内のワークは、単独で作業するよりもグループとして働く場合の労力を減らしがちである。
論文 参考訳（メタデータ） (2023-05-04T02:38:11Z) - DIPNet: Efficiency Distillation and Iterative Pruning for Image
Super-Resolution [38.73287113121911]
本稿では,軽量ネットワークが優れた性能を達成できる,新しいマルチステージ軽量ネットワークブースティング手法を提案する。
具体的には、軽量な学生ネットワークの学習能力を向上させるために、高度な高解像度出力を追加の監督として活用する。
我々は、マルチアンカー蒸留とプログレッシブラーニングを組み合わせた効果的な軽量ネットワークトレーニング戦略を採用し、軽量ネットワークの優れた性能を実現する。
論文 参考訳（メタデータ） (2023-04-14T09:23:21Z) - Finite-Time Consensus Learning for Decentralized Optimization with
Nonlinear Gossiping [77.53019031244908]
本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。
コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
論文 参考訳（メタデータ） (2021-11-04T15:36:25Z) - Students are the Best Teacher: Exit-Ensemble Distillation with
Multi-Exits [25.140055086630838]
本論文では,畳み込みニューラルネットワーク(CNN)の分類性能を改善するための知識蒸留に基づく新しい学習法を提案する。
教師が生徒にのみ教える従来の蒸留の概念とは異なり、生徒は他の生徒や教師がもっとよく学ぶのを助けることができる。
論文 参考訳（メタデータ） (2021-04-01T07:10:36Z) - Sparsity in Deep Learning: Pruning and growth for efficient inference
and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。
ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文 参考訳（メタデータ） (2021-01-31T22:48:50Z) - Hybrid Discriminative-Generative Training via Contrastive Learning [96.56164427726203]
エネルギーベースモデルのハイブリッド識別・生成訓練の観点から、コントラスト学習と教師あり学習の直接的な関連性を示す。
CIFAR-10 および CIFAR-100 上の WideResNet の分類精度において,エネルギーベース損失の近似の具体的な選択が既存手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-07-17T15:50:34Z) - Interactive Knowledge Distillation [79.12866404907506]
本稿では,効率的な知識蒸留のための対話型指導戦略を活用するために,対話型知識蒸留方式を提案する。
蒸留工程では,教師と学生のネットワーク間の相互作用を交換操作により行う。
教員ネットワークの典型的な設定による実験により,IAKDで訓練された学生ネットワークは,従来の知識蒸留法で訓練された学生ネットワークよりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-07-03T03:22:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。