論文の概要: Long Short-Term Sample Distillation

• arxiv url: http://arxiv.org/abs/2003.00739v1
• Date: Mon, 2 Mar 2020 10:03:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 04:13:23.930042
• Title: Long Short-Term Sample Distillation
• Title（参考訳）: 長期短期試料蒸留
• Authors: Liang Jiang, Zujie Wen, Zhongping Liang, Yafang Wang, Gerard de Melo, Zhe Li, Liangzhuang Ma, Jiaxing Zhang, Xiaolong Li, Yuan Qi
• Abstract要約: Long Short-Term Sample Distillationは、前回のトレーニングプロセスの複数のフェーズを同時に利用して、後のトレーニングアップデートをニューラルネットワークに誘導する。 各サンプルの監視信号は、長期信号と短期信号の2つの部分に分割される。 視力およびNLPタスクの総合的な実験結果から,本手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 41.568193220334805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the past decade, there has been substantial progress at training increasingly deep neural networks. Recent advances within the teacher--student training paradigm have established that information about past training updates show promise as a source of guidance during subsequent training steps. Based on this notion, in this paper, we propose Long Short-Term Sample Distillation, a novel training policy that simultaneously leverages multiple phases of the previous training process to guide the later training updates to a neural network, while efficiently proceeding in just one single generation pass. With Long Short-Term Sample Distillation, the supervision signal for each sample is decomposed into two parts: a long-term signal and a short-term one. The long-term teacher draws on snapshots from several epochs ago in order to provide steadfast guidance and to guarantee teacher--student differences, while the short-term one yields more up-to-date cues with the goal of enabling higher-quality updates. Moreover, the teachers for each sample are unique, such that, overall, the model learns from a very diverse set of teachers. Comprehensive experimental results across a range of vision and NLP tasks demonstrate the effectiveness of this new training method.
• Abstract（参考訳）: 過去10年間で、より深いニューラルネットワークのトレーニングが大幅に進歩しました。 教員養成パラダイムの最近の進歩により、過去のトレーニング更新に関する情報は、その後のトレーニングステップにおける指導の源泉として期待が持たれている。 本論文では,従来のトレーニングプロセスの複数フェーズを同時に活用して,後続のトレーニング更新をニューラルネットワークに誘導し,単一の世代パスで効率よく進行させる,Long Short-Term Sample Distillationを提案する。 長期間の試料蒸留では、各試料の監視信号は、長期の信号と短期の信号の2つの部分に分けられる。 長期教師は、教師と生徒の差異を安定的に保証するために、いくつかの時代のスナップショットを描いているが、短期教師は、より高品質な更新を可能にするという目標により、より最新の手掛かりを与えている。 さらに、各サンプルの教師はユニークであり、モデル全体が非常に多様な教師セットから学習される。 視覚とnlpタスクの包括的実験結果から,この新しいトレーニング手法の有効性が示された。

関連論文リスト

• LTRL: Boosting Long-tail Recognition via Reflective Learning [12.784186450718652]
  本稿では,ロングテール認識の処理において,リフレクション学習と呼ばれる新しい学習パラダイムを提案する。 本手法は,学習中の過去の予測の見直し,クラス間の特徴関係の要約と活用,損失関数の勾配競合の補正という3つのプロセスを統合する。
  論文  参考訳（メタデータ） (2024-07-17T13:51:49Z)
• Progressive Pretext Task Learning for Human Trajectory Prediction [44.07301075351432]
  本稿では,PPT(Progressive Pretext Task Learning)フレームワークについて紹介する。 トランスフォーマーを用いたトラジェクトリ予測器を設計し,高効率な2段階推論を実現する。
  論文  参考訳（メタデータ） (2024-07-16T10:48:18Z)
• Instruction Pre-Training: Language Models are Supervised Multitask Learners [115.95022434390181]
  本稿では,事前学習言語モデル(LM)に対して,命令応答対を用いた大規模生コーパスを付加するフレームワークを提案する。 実験では,40以上のタスクカテゴリをカバーする2億の命令応答ペアを合成し,インストラクション事前学習の有効性を検証する。
  論文  参考訳（メタデータ） (2024-06-20T16:55:33Z)
• TaE: Task-aware Expandable Representation for Long Tail Class Incremental Learning [42.630413950957795]
  本稿では,各タスクから多様な表現を学習するための新しいタスク対応拡張(TaE)フレームワークを提案する。 TaEは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-08T16:37:04Z)
• Distilling Knowledge for Short-to-Long Term Trajectory Prediction [9.626916225081613]
  長期軌道予測はコンピュータビジョン、機械学習、ロボット工学の分野において重要な問題である。 本稿では,学生ネットワークに長期軌跡予測を誘導する短期軌跡モデル予測器の蒸留を利用する新しい手法であるDi-Longを提案する。 実験の結果,提案手法は長期予測に有効であり,最先端の性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-15T11:30:28Z)
• Learning and Verification of Task Structure in Instructional Videos [85.511888642497]
  本稿では,教師ビデオのセマンティクスと構造を表現することに焦点を当てた,事前学習型ビデオモデルVideoTaskformerを紹介する。 ステップ表現をローカルに学習する以前の作業と比較して,私たちのアプローチは,それらをグローバルに学習するものです。 命令ビデオにおける誤り検出のための2つの新しいベンチマークを導入し,異常なステップが存在するか,ステップが正しい順序で実行されるかを確認する。
  論文  参考訳（メタデータ） (2023-03-23T17:59:54Z)
• PIVOT: Prompting for Video Continual Learning [50.80141083993668]
  PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。 実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
  論文  参考訳（メタデータ） (2022-12-09T13:22:27Z)
• Effective and Efficient Training for Sequential Recommendation using Recency Sampling [91.02268704681124]
  本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。 提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-06T13:06:31Z)
• Self-supervised Knowledge Distillation for Few-shot Learning [123.10294801296926]
  少数のサンプルだけで秩序分布から素早く学習できるため、ショットラーニングは有望な学習パラダイムである。 数ショットの学習タスクにおいて,深層ニューラルネットワークの表現能力を向上させるための簡単な手法を提案する。 実験により、第一段階においても、自己超越は現在の最先端手法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-17T11:27:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。