論文の概要: Learn More for Food Recognition via Progressive Self-Distillation
- arxiv url: http://arxiv.org/abs/2303.05073v1
- Date: Thu, 9 Mar 2023 07:11:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 15:54:26.999281
- Title: Learn More for Food Recognition via Progressive Self-Distillation
- Title（参考訳）: プログレッシブ・セルフ蒸留による食品認識の学習
- Authors: Yaohui Zhu, Linhu Liu, Jiang Tian
- Abstract要約: 食品認識のためのプログレッシブ自己蒸留法(PSD)を提案する。
プログレッシブトレーニングを使用することで、教師ネットワークはより漸進的に差別的な地域をマイニングする能力を向上させる。
推論フェーズでは、学生ネットワークの助けなしに教師ネットワークのみが使用される。
- 参考スコア（独自算出の注目度）: 10.918603955069651
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Food recognition has a wide range of applications, such as health-aware
recommendation and self-service restaurants. Most previous methods of food
recognition firstly locate informative regions in some weakly-supervised
manners and then aggregate their features. However, location errors of
informative regions limit the effectiveness of these methods to some extent.
Instead of locating multiple regions, we propose a Progressive
Self-Distillation (PSD) method, which progressively enhances the ability of
network to mine more details for food recognition. The training of PSD
simultaneously contains multiple self-distillations, in which a teacher network
and a student network share the same embedding network. Since the student
network receives a modified image from its teacher network by masking some
informative regions, the teacher network outputs stronger semantic
representations than the student network. Guided by such teacher network with
stronger semantics, the student network is encouraged to mine more useful
regions from the modified image by enhancing its own ability. The ability of
the teacher network is also enhanced with the shared embedding network. By
using progressive training, the teacher network incrementally improves its
ability to mine more discriminative regions. In inference phase, only the
teacher network is used without the help of the student network. Extensive
experiments on three datasets demonstrate the effectiveness of our proposed
method and state-of-the-art performance.
- Abstract（参考訳）: 食品認識には、健康に配慮したレコメンデーションやセルフサービスレストランなど、幅広い応用がある。
食品認識の従来の手法は、まず、弱い管理方法で情報領域を特定し、その特徴を集約する。
しかし、情報領域の位置誤差は、これらの手法の有効性をある程度制限する。
そこで本研究では,複数の地域を探索する代わりに,より詳細な食品認識のためのネットワークのマイニング能力を高めるプログレッシブ・セルフ蒸留(PSD)手法を提案する。
PSDのトレーニングは、教師ネットワークと学生ネットワークが同一の埋め込みネットワークを共有する複数の自己蒸留を含む。
教師ネットワークは、一部の情報領域をマスキングして教師ネットワークから修正画像を受け取るので、教師ネットワークは生徒ネットワークよりも強力な意味表現を出力する。
より強力な意味を持つ教師ネットワークによって指導され、学生ネットワークは、より有用な地域を、自身の能力を高めて修正画像からマイニングすることが奨励される。
また、共有埋め込みネットワークにより、教師ネットワークの能力も向上する。
プログレッシブトレーニングを使用することで、教師ネットワークはより差別的な地域をマイニングする能力を向上させる。
推論フェーズでは、学生ネットワークの助けなしに教師ネットワークのみが使用される。
3つのデータセットに関する広範囲な実験により,提案手法の有効性と最新性能が実証された。
関連論文リスト
- Direct Distillation between Different Domains [97.39470334253163]
異なるドメイン間の直接蒸留(4Ds)と呼ばれる新しいワンステージ手法を提案する。
まず、Fourier変換に基づいて学習可能なアダプタを設計し、ドメイン固有の知識からドメイン不変知識を分離する。
次に、価値あるドメイン不変知識を学生ネットワークに転送するための融合活性化機構を構築する。
論文 参考訳（メタデータ） (2024-01-12T02:48:51Z) - Cross Architecture Distillation for Face Recognition [49.55061794917994]
本研究では,教師にプロンプトを組み込むことで,蒸留専門知識の管理を可能にする適応型プロンプト教師ネットワーク(APT)を開発した。
一般的な顔のベンチマークと2つの大規模な検証セットによる実験は,本手法の優位性を実証している。
論文 参考訳（メタデータ） (2023-06-26T12:54:28Z) - ORC: Network Group-based Knowledge Distillation using Online Role Change [3.735965959270874]
複数の教師による知識蒸留におけるオンラインの役割変化戦略を提案する。
学生グループの上位ネットワークは、各イテレーションで教師グループに昇格することができる。
CIFAR-10, CIFAR-100, ImageNetにおける提案手法の優位性を検証した。
論文 参考訳（メタデータ） (2022-06-01T10:28:18Z) - Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。
勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。
実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
論文 参考訳（メタデータ） (2021-03-31T11:47:47Z) - Fixing the Teacher-Student Knowledge Discrepancy in Distillation [72.4354883997316]
本稿では,教師の知識を学生とより整合させる,新たな学生依存型蒸留法である知識一貫型蒸留を提案する。
この手法は非常に柔軟で,他の最先端手法と容易に組み合わせることができる。
論文 参考訳（メタデータ） (2021-03-31T06:52:20Z) - Densely Guided Knowledge Distillation using Multiple Teacher Assistants [5.169724825219126]
モデルサイズを徐々に小さくする複数の教師アシスタントを用いた知識蒸留法を提案する。
また,ミニバッチ毎に,教師や教師のアシスタントがランダムにドロップされるような授業も設計する。
これは、学生ネットワークの教育効率を向上させるために、レギュラーライザとして機能する。
論文 参考訳（メタデータ） (2020-09-18T13:12:52Z) - Point Adversarial Self Mining: A Simple Method for Facial Expression
Recognition [79.75964372862279]
本稿では,表情認識における認識精度を向上させるために,PASM(Point Adversarial Self Mining)を提案する。
PASMは、目標タスクに関連する最も情報性の高い位置を見つけるために、ポイント敵攻撃法と訓練された教師ネットワークを使用する。
適応学習教材の生成と教師/学生の更新を複数回行うことができ、ネットワーク能力が反復的に向上する。
論文 参考訳（メタデータ） (2020-08-26T06:39:24Z) - Interactive Knowledge Distillation [79.12866404907506]
本稿では,効率的な知識蒸留のための対話型指導戦略を活用するために,対話型知識蒸留方式を提案する。
蒸留工程では,教師と学生のネットワーク間の相互作用を交換操作により行う。
教員ネットワークの典型的な設定による実験により,IAKDで訓練された学生ネットワークは,従来の知識蒸留法で訓練された学生ネットワークよりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-07-03T03:22:04Z) - Teacher-Class Network: A Neural Network Compression Mechanism [2.257416403770908]
提案手法は,1人の生徒にのみ知識を伝達する代わりに,各生徒に知識の一部を伝達する。
我々の学生は問題固有のロジットの訓練を受けておらず、教師ネットワークで学んだ知識(センス表現)を模倣するように訓練されている。
提案した教師クラスアーキテクチャは,MNIST,Fashion MNIST,IMDB Movie Reviews,CAMVid,CIFAR-10,ImageNetなどのベンチマークデータセットで評価される。
論文 参考訳（メタデータ） (2020-04-07T11:31:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。