論文の概要: Long Short-Term Sample Distillation
- arxiv url: http://arxiv.org/abs/2003.00739v1
- Date: Mon, 2 Mar 2020 10:03:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 04:13:23.930042
- Title: Long Short-Term Sample Distillation
- Title(参考訳): 長期短期試料蒸留
- Authors: Liang Jiang, Zujie Wen, Zhongping Liang, Yafang Wang, Gerard de Melo,
Zhe Li, Liangzhuang Ma, Jiaxing Zhang, Xiaolong Li, Yuan Qi
- Abstract要約: Long Short-Term Sample Distillationは、前回のトレーニングプロセスの複数のフェーズを同時に利用して、後のトレーニングアップデートをニューラルネットワークに誘導する。
各サンプルの監視信号は、長期信号と短期信号の2つの部分に分割される。
視力およびNLPタスクの総合的な実験結果から,本手法の有効性が示された。
- 参考スコア(独自算出の注目度): 41.568193220334805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the past decade, there has been substantial progress at training
increasingly deep neural networks. Recent advances within the teacher--student
training paradigm have established that information about past training updates
show promise as a source of guidance during subsequent training steps. Based on
this notion, in this paper, we propose Long Short-Term Sample Distillation, a
novel training policy that simultaneously leverages multiple phases of the
previous training process to guide the later training updates to a neural
network, while efficiently proceeding in just one single generation pass. With
Long Short-Term Sample Distillation, the supervision signal for each sample is
decomposed into two parts: a long-term signal and a short-term one. The
long-term teacher draws on snapshots from several epochs ago in order to
provide steadfast guidance and to guarantee teacher--student differences, while
the short-term one yields more up-to-date cues with the goal of enabling
higher-quality updates. Moreover, the teachers for each sample are unique, such
that, overall, the model learns from a very diverse set of teachers.
Comprehensive experimental results across a range of vision and NLP tasks
demonstrate the effectiveness of this new training method.
- Abstract(参考訳): 過去10年間で、より深いニューラルネットワークのトレーニングが大幅に進歩しました。
教員養成パラダイムの最近の進歩により、過去のトレーニング更新に関する情報は、その後のトレーニングステップにおける指導の源泉として期待が持たれている。
本論文では,従来のトレーニングプロセスの複数フェーズを同時に活用して,後続のトレーニング更新をニューラルネットワークに誘導し,単一の世代パスで効率よく進行させる,Long Short-Term Sample Distillationを提案する。
長期間の試料蒸留では、各試料の監視信号は、長期の信号と短期の信号の2つの部分に分けられる。
長期教師は、教師と生徒の差異を安定的に保証するために、いくつかの時代のスナップショットを描いているが、短期教師は、より高品質な更新を可能にするという目標により、より最新の手掛かりを与えている。
さらに、各サンプルの教師はユニークであり、モデル全体が非常に多様な教師セットから学習される。
視覚とnlpタスクの包括的実験結果から,この新しいトレーニング手法の有効性が示された。
関連論文リスト
- Long-range Multimodal Pretraining for Movie Understanding [79.63187251571391]
本稿では,映画データを利用してトランスファー可能なマルチモーダルエンコーダとクロスモーダルエンコーダを訓練する戦略とモデルを提案する。
私たちのキーとなるアイデアは、長期にわたる関係を観察し、抽出することで、映画のあらゆるモダリティから学ぶことです。
本モデルでは,複数のLVUタスクの最先端化を実現し,従来の作業よりもはるかにデータ効率がよい。
論文 参考訳(メタデータ) (2023-08-18T18:52:59Z) - Distilling Knowledge for Short-to-Long Term Trajectory Prediction [11.819733035273007]
長期軌道予測はコンピュータビジョン、機械学習、ロボット工学の分野において重要な問題である。
本稿では,学生ネットワークに長期軌跡予測を誘導する短期軌跡モデル予測器の蒸留を利用する新しい手法であるDi-Longを提案する。
実験の結果,提案手法は長期予測に有効であり,最先端の性能を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-05-15T11:30:28Z) - Learning and Verification of Task Structure in Instructional Videos [85.511888642497]
本稿では,教師ビデオのセマンティクスと構造を表現することに焦点を当てた,事前学習型ビデオモデルVideoTaskformerを紹介する。
ステップ表現をローカルに学習する以前の作業と比較して,私たちのアプローチは,それらをグローバルに学習するものです。
命令ビデオにおける誤り検出のための2つの新しいベンチマークを導入し,異常なステップが存在するか,ステップが正しい順序で実行されるかを確認する。
論文 参考訳(メタデータ) (2023-03-23T17:59:54Z) - PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。
実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文 参考訳(メタデータ) (2022-12-09T13:22:27Z) - Effective and Efficient Training for Sequential Recommendation using
Recency Sampling [91.02268704681124]
本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。
提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
論文 参考訳(メタデータ) (2022-07-06T13:06:31Z) - Unsupervised Time Series Outlier Detection with Diversity-Driven
Convolutional Ensembles -- Extended Version [29.753910237103216]
本稿では,外乱検出のための多様性駆動型畳み込みアンサンブルを提案する。
このアンサンブルは、畳み込みシーケンス対シーケンスオートエンコーダ上に構築された複数の基本外乱検出モデルを採用している。
アンサンブルの精度を向上させることを目的とした,新しい多様性駆動トレーニング手法が基本モデルの多様性を維持している。
論文 参考訳(メタデータ) (2021-11-22T10:58:53Z) - Lifelong Learning of Few-shot Learners across NLP Tasks [45.273018249235705]
私たちは、さまざまなNLPタスクのシーケンスを通じて、生涯学習の難しさを研究します。
アダプタウェイトの生成をいくつかの例から学ぶ,継続的なメタラーニングアプローチを提案する。
私たちのアプローチは、トレーニングタスクよりもモデルのパフォーマンスを維持し、将来のタスクが学習されるとポジティブな知識伝達につながります。
論文 参考訳(メタデータ) (2021-04-18T10:41:56Z) - A Practical Incremental Method to Train Deep CTR Models [37.54660958085938]
本稿では,3つの分離モジュールからなる深部CTRモデルを訓練するための実用的なインクリメンタル手法を提案する。
提案手法は従来のバッチモード学習と同等の性能を達成でき,訓練効率も向上する。
論文 参考訳(メタデータ) (2020-09-04T12:35:42Z) - Self-supervised Knowledge Distillation for Few-shot Learning [123.10294801296926]
少数のサンプルだけで秩序分布から素早く学習できるため、ショットラーニングは有望な学習パラダイムである。
数ショットの学習タスクにおいて,深層ニューラルネットワークの表現能力を向上させるための簡単な手法を提案する。
実験により、第一段階においても、自己超越は現在の最先端手法より優れていることが示された。
論文 参考訳(メタデータ) (2020-06-17T11:27:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。