論文の概要: Introspective Learning by Distilling Knowledge from Online Self-explanation

• arxiv url: http://arxiv.org/abs/2009.09140v1
• Date: Sat, 19 Sep 2020 02:05:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-16 21:01:40.781811
• Title: Introspective Learning by Distilling Knowledge from Online Self-explanation
• Title（参考訳）: オンライン自己説明からの知識の蒸留によるイントロスペクティブラーニング
• Authors: Jindong Gu and Zhiliang Wu and Volker Tresp
• Abstract要約: 本稿では,オンライン自己説明から知識を抽出し,イントロスペクティブ学習の実装を提案する。 イントロスペクティブ学習法で訓練されたモデルは、標準学習法で訓練されたモデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 36.91213895208838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, many explanation methods have been proposed to explain individual classifications of deep neural networks. However, how to leverage the created explanations to improve the learning process has been less explored. As the privileged information, the explanations of a model can be used to guide the learning process of the model itself. In the community, another intensively investigated privileged information used to guide the training of a model is the knowledge from a powerful teacher model. The goal of this work is to leverage the self-explanation to improve the learning process by borrowing ideas from knowledge distillation. We start by investigating the effective components of the knowledge transferred from the teacher network to the student network. Our investigation reveals that both the responses in non-ground-truth classes and class-similarity information in teacher's outputs contribute to the success of the knowledge distillation. Motivated by the conclusion, we propose an implementation of introspective learning by distilling knowledge from online self-explanations. The models trained with the introspective learning procedure outperform the ones trained with the standard learning procedure, as well as the ones trained with different regularization methods. When compared to the models learned from peer networks or teacher networks, our models also show competitive performance and requires neither peers nor teachers.
• Abstract（参考訳）: 近年、ディープニューラルネットワークの個々の分類を説明するために多くの説明法が提案されている。 しかし、学習プロセスを改善するために生成された説明を活用する方法はあまり検討されていない。 特権情報として、モデルの説明は、モデル自体の学習プロセスのガイドに利用することができる。 コミュニティでは、モデルのトレーニングを指導するために使用される特権情報も強力な教師モデルからの知識である。 本研究の目的は,知識蒸留からアイデアを借りることで,自己説明を活用して学習プロセスを改善することである。 まず,教師ネットワークから学生ネットワークに伝達される知識の有効成分を調査することから始める。 本研究は,教師の授業内容と授業内容の類似性の両方が,知識蒸留の成功に寄与していることを明らかにする。 そこで本研究では,オンライン自己説明から知識を抽出し,イントロスペクティブ学習の実践を提案する。 イントロスペクティブ学習手順で訓練されたモデルは、標準学習手順で訓練されたモデルよりも、異なる正規化法で訓練されたモデルよりも優れています。 ピアネットワークや教師ネットワークから学んだモデルと比較すると、私たちのモデルは競争力があり、ピアも教師も必要としない。

関連論文リスト

• Knowledge Distillation for Road Detection based on cross-model Semi-Supervised Learning [17.690698736544626]
  本稿では,知識蒸留と半教師付き学習手法を組み合わせた統合的アプローチを提案する。 このハイブリッドアプローチは、大規模モデルのロバストな機能を活用して、大規模な未ラベルデータを効果的に活用する。 半教師付き学習に基づく知識蒸留(SSLKD)アプローチは,学生モデルの性能向上を示す。
  論文  参考訳（メタデータ） (2024-02-07T22:50:47Z)
• Improved Knowledge Distillation for Pre-trained Language Models via Knowledge Selection [35.515135913846386]
  本稿では, 知識蒸留プロセスにおいて, 適切な知識を選択するためのアクター批判的アプローチを提案する。 GLUEデータセットによる実験結果から,本手法はいくつかの強い知識蒸留基準を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-02-01T13:40:19Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Learning Data Teaching Strategies Via Knowledge Tracing [5.648636668261282]
  本稿では,学生モデルのためのデータ教育戦略を最適化する,知識強化データ教育(KADT)と呼ばれる新しい手法を提案する。 KADT法は、潜在学習概念の観点から、学生モデルの知識進捗を動的に捉えるための知識追跡モデルを含む。 我々は、知識追跡、感情分析、映画レコメンデーション、画像分類を含む4つの機械学習タスクにおいて、KADT法の性能を評価した。
  論文  参考訳（メタデータ） (2021-11-13T10:10:48Z)
• Student Network Learning via Evolutionary Knowledge Distillation [22.030934154498205]
  教師知識の伝達効率を改善するための進化的知識蒸留手法を提案する。 進化的教師は、固定された予習教師の代わりにオンラインで学習され、学生ネットワーク学習を監督するために、中間的知識を継続的に伝達する。 このようにして、学生は豊富な内部知識を同時に獲得し、その成長過程を捉え、効果的なネットワーク学習につながる。
  論文  参考訳（メタデータ） (2021-03-23T02:07:15Z)
• Learning Student-Friendly Teacher Networks for Knowledge Distillation [50.11640959363315]
  本研究では,教師から学生への暗黒知識の伝達を容易にする新しい知識蒸留手法を提案する。 事前教育を受けた教師に与えた学習モデルの効果的な学習方法のほとんどとは対照的に,学生に親しみやすい教師モデルを学ぶことを目的とする。
  論文  参考訳（メタデータ） (2021-02-12T07:00:17Z)
• Collaborative Teacher-Student Learning via Multiple Knowledge Transfer [79.45526596053728]
  複数知識伝達(CTSL-MKT)による協調学習を提案する。 複数の学生が協調的な方法で個々のインスタンスとインスタンスの関係の両方から知識を学ぶことができます。 4つの画像データセットの実験とアブレーション研究は、提案したCTSL-MKTが最先端のKD法よりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2021-01-21T07:17:04Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)
• Explainable Active Learning (XAL): An Empirical Study of How Local Explanations Impact Annotator Experience [76.9910678786031]
  本稿では、最近急増している説明可能なAI(XAI)のテクニックをアクティブラーニング環境に導入することにより、説明可能なアクティブラーニング(XAL)の新たなパラダイムを提案する。 本研究は,機械教育のインタフェースとしてのAI説明の利点として,信頼度校正を支援し,リッチな形式の教示フィードバックを可能にすること,モデル判断と認知作業負荷による潜在的な欠点を克服する効果を示す。
  論文  参考訳（メタデータ） (2020-01-24T22:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。