Fugu-MT 論文翻訳(概要): Diverse Feature Learning by Self-distillation and Reset

論文の概要: Diverse Feature Learning by Self-distillation and Reset

arxiv url: http://arxiv.org/abs/2403.19941v1
Date: Fri, 29 Mar 2024 02:49:15 GMT
ステータス: 処理完了
システム内更新日: 2024-04-01 16:34:41.941976
Title: Diverse Feature Learning by Self-distillation and Reset
Title（参考訳）: 自己蒸留とリセットによる多様な特徴学習
Authors: Sejik Park,
Abstract要約: 本稿では,重要な特徴保存アルゴリズムと新しい特徴学習アルゴリズムを組み合わせたDFLを紹介する。重要な特徴を保存するために、トレーニング中に観察される意味のあるモデルの重みを選択することで、アンサンブルモデルの自己蒸留を利用する。新機能の学習には、定期的にモデルの一部を初期化するリセットを採用しています。
参考スコア（独自算出の注目度）: 0.5221459608786241
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Our paper addresses the problem of models struggling to learn diverse features, due to either forgetting previously learned features or failing to learn new ones. To overcome this problem, we introduce Diverse Feature Learning (DFL), a method that combines an important feature preservation algorithm with a new feature learning algorithm. Specifically, for preserving important features, we utilize self-distillation in ensemble models by selecting the meaningful model weights observed during training. For learning new features, we employ reset that involves periodically re-initializing part of the model. As a result, through experiments with various models on the image classification, we have identified the potential for synergistic effects between self-distillation and reset.
Abstract（参考訳）: 本稿は,これまで学習してきた特徴を忘れたり,新しい特徴を習得できなかったりするため,多様な特徴を学習するのに苦労するモデルの問題に対処する。この問題を解決するために,重要な特徴保存アルゴリズムと新しい特徴学習アルゴリズムを組み合わせたDFL(Diverse Feature Learning)を提案する。具体的には、重要な特徴を保存するために、トレーニング中に観察される意味のあるモデルの重みを選択することで、アンサンブルモデルの自己蒸留を利用する。新機能の学習には、定期的にモデルの一部を初期化するリセットを採用しています。その結果、画像分類に関する様々なモデルを用いた実験により、自己蒸留とリセットの相乗効果の可能性を明らかにした。

関連論文リスト

Machine Unlearning in Contrastive Learning [3.6218162133579694]
本稿では,機械学習を効果的に行うためのモデルトレーニングのための,勾配制約に基づく新しいアプローチを提案する。提案手法は,コントラスト学習モデルだけでなく,教師付き学習モデルにも有能な性能を示す。
論文参考訳（メタデータ） (2024-05-12T16:09:01Z)
SRIL: Selective Regularization for Class-Incremental Learning [5.810252620242912]
クラスインクリメンタルラーニングは、この課題を克服するために、可塑性と安定性のバランスをとる統合モデルを作成することを目的としている。本稿では,従来の知識を維持しつつ,新たな知識を受け入れる選択正規化手法を提案する。 CIFAR-100, ImageNet-Subset, ImageNet-Full を用いて提案手法の有効性を検証する。
論文参考訳（メタデータ） (2023-05-09T05:04:35Z)
Ensembling improves stability and power of feature selection for deep learning models [11.973624420202388]
本稿では,ディープラーニングモデルの設計と訓練における本質性によって,一般的に用いられる特徴重要度スコアが不安定になることを示す。我々は、異なるエポックにおけるモデルの重要度スコアのアンサンブルについて検討し、この単純なアプローチがこの問題に実質的に対処できることを見出した。訓練されたモデルの特徴的重要度を組み合わせるためのフレームワークを提案し、一つのベストモデルから特徴を選択する代わりに、多くの優れたモデルから特徴的重要度スコアのアンサンブルを実行する。
論文参考訳（メタデータ） (2022-10-02T19:07:53Z)
Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。知識の抽出と知識の記憶という2つの側面から問題に取り組む。提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文参考訳（メタデータ） (2022-08-27T09:27:36Z)
Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
論文参考訳（メタデータ） (2022-04-28T08:41:51Z)
FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文参考訳（メタデータ） (2022-04-10T11:38:33Z)
Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolidation [39.97128550414934]
本稿では,ディープニューラルネットワークに基づく新しいクラスインクリメンタル学習手法を提案する。以前のタスクの例を格納するためのメモリが限られている新しいタスクを継続的に学習する。我々のアルゴリズムは知識蒸留に基づいており、古いモデルの表現を維持するための原則的な方法を提供する。
論文参考訳（メタデータ） (2022-04-02T16:30:04Z)
Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文参考訳（メタデータ） (2021-08-26T04:42:24Z)
Compositional Fine-Grained Low-Shot Learning [58.53111180904687]
そこで本研究では,ゼロおよび少数ショット学習のための新しい合成生成モデルを構築し,学習サンプルの少ない,あるいは全くない,きめ細かいクラスを認識する。本稿では, 学習サンプルから属性特徴を抽出し, それらを組み合わせて, 稀で見えないクラスのためのきめ細かい特徴を構築できる特徴合成フレームワークを提案する。
論文参考訳（メタデータ） (2021-05-21T16:18:24Z)
Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [55.28436972267793]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文参考訳（メタデータ） (2020-10-25T18:51:15Z)
Efficient Learning of Model Weights via Changing Features During Training [0.0]
学習中の特徴を動的に変化させる機械学習モデルを提案する。私たちの主な動機は、トレーニングプロセス中に小さなコンテンツでモデルを更新し、より説明力の少ない機能を大きなプールから新しいものに置き換えることです。
論文参考訳（メタデータ） (2020-02-21T12:38:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。