論文の概要: AutoClip: Adaptive Gradient Clipping for Source Separation Networks
- arxiv url: http://arxiv.org/abs/2007.14469v1
- Date: Sat, 25 Jul 2020 20:59:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 01:01:32.669803
- Title: AutoClip: Adaptive Gradient Clipping for Source Separation Networks
- Title(参考訳): autoclip: ソース分離ネットワークのための適応勾配クリッピング
- Authors: Prem Seetharaman, Gordon Wichern, Bryan Pardo, Jonathan Le Roux
- Abstract要約: AutoClipは、勾配クリッピングしきい値を自動的に適応的に選択する方法である。
実験の結果,AutoClipの適用により,音源分離ネットワークの性能が向上することがわかった。
- 参考スコア(独自算出の注目度): 45.58157519349822
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Clipping the gradient is a known approach to improving gradient descent, but
requires hand selection of a clipping threshold hyperparameter. We present
AutoClip, a simple method for automatically and adaptively choosing a gradient
clipping threshold, based on the history of gradient norms observed during
training. Experimental results show that applying AutoClip results in improved
generalization performance for audio source separation networks. Observation of
the training dynamics of a separation network trained with and without AutoClip
show that AutoClip guides optimization into smoother parts of the loss
landscape. AutoClip is very simple to implement and can be integrated readily
into a variety of applications across multiple domains.
- Abstract(参考訳): 勾配のクリッピングは、勾配降下を改善するための既知のアプローチであるが、クリッピングしきい値ハイパーパラメータのハンドセレクションを必要とする。
本稿では,学習中に観測された勾配ノルムの履歴に基づいて,勾配クリッピングしきい値を自動的に適応的に選択する手法であるautoclipを提案する。
実験の結果,autoclipの適用により,音源分離ネットワークの一般化性能が向上した。
AutoClipでトレーニングされた分離ネットワークのトレーニングダイナミクスを観察すると、AutoClipは損失ランドスケープのよりスムーズな部分に最適化を誘導することを示している。
AutoClipは実装が非常に簡単で、複数のドメインにわたるさまざまなアプリケーションに簡単に統合できます。
関連論文リスト
- Gradient Sparsification For Masked Fine-Tuning of Transformers [6.936564049727831]
調整済みの自己教師型言語モデルが下流タスクへの変換学習に広く採用されている。
緩やかな凍結は、トレーニング中に層全体の勾配を徐々に解凍することで両者のトレードオフをもたらす。
徐々に凍結する層が、緩やかに変化して徐々に凍結する層に比べて、トレーニング全体を通して徐々に凍結する層が最適であるかどうかは不明である。
論文 参考訳(メタデータ) (2023-07-19T16:13:13Z) - Learning Gradients of Convex Functions with Monotone Gradient Networks [5.220940151628734]
凸関数の勾配は、勾配に基づく最適化から最適輸送まで、重要な応用を持つ。
近年、凸目標学習のためのデータ駆動手法が研究されているが、そのモノトーン勾配の学習はほとんど研究されていない。
我々のネットワークは、トレーニングが簡単で、モノトーン勾配場をより正確に学習し、最先端の手法よりもはるかに少ないパラメータを使用することを示す。
論文 参考訳(メタデータ) (2023-01-25T23:04:50Z) - Exploring the Limits of Differentially Private Deep Learning with
Group-wise Clipping [91.60608388479645]
本研究では, クリッピングとバックプロパゲーションを併用して, 異なる最適化手法でクリッピングを行えることを示す。
その結果、プライベートな学習は、記憶効率が良く、トレーニング更新あたりの速度は、多くの関心を持つ非プライベートな学習と同程度になる。
論文 参考訳(メタデータ) (2022-12-03T05:20:15Z) - Spatio-Temporal Crop Aggregation for Video Representation Learning [33.296154476701055]
本モデルは,事前学習したバックボーンで抽出したビデオクリップレベルの特徴セットから学習することで,長距離ビデオ機能を構築する。
ビデオ表現は, 線形, 非線形, および$k$-NNを用いて, 共通の行動分類データセットを探索することにより, 最先端の性能が得られることを示す。
論文 参考訳(メタデータ) (2022-11-30T14:43:35Z) - Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。
本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
論文 参考訳(メタデータ) (2021-06-17T02:40:18Z) - Beyond Short Clips: End-to-End Video-Level Learning with Collaborative
Memories [56.91664227337115]
本稿では,ビデオの複数のサンプルクリップにまたがる情報を,トレーニングイテレーション毎にエンコードするコラボレーティブメモリ機構を提案する。
これにより、単一のクリップ以上の長距離依存関係の学習が可能になる。
提案するフレームワークはエンドツーエンドでトレーニング可能で,計算オーバーヘッドが無視できないビデオ分類精度が大幅に向上する。
論文 参考訳(メタデータ) (2021-04-02T18:59:09Z) - Ada-Segment: Automated Multi-loss Adaptation for Panoptic Segmentation [95.31590177308482]
我々は,トレーニング期間中に複数のトレーニング損失を柔軟に調整する自動マルチロス適応(ada-segment)を提案する。
エンドツーエンドアーキテクチャにより、ada-segmentはハイパーパラメータを再チューニングすることなく、異なるデータセットに一般化する。
Ada-Segmentは、バニラベースラインからCOCOval分割に2.7%のパノラマ品質(PQ)改善をもたらし、COCOテストデブ分割に最新の48.5%PQ、ADE20Kデータセットに32.9%PQを達成しました。
論文 参考訳(メタデータ) (2020-12-07T11:43:10Z) - Self-Tuning Stochastic Optimization with Curvature-Aware Gradient
Filtering [53.523517926927894]
サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。
モデルに基づく手続きが雑音勾配設定に収束することを証明する。
これは自己チューニング二次体を構築するための興味深いステップである。
論文 参考訳(メタデータ) (2020-11-09T22:07:30Z) - Dynamic Sampling Networks for Efficient Action Recognition in Videos [43.51012099839094]
Em Dynamic Smpling Networks (DSN) と呼ばれるビデオにおける行動認識のための新しいフレームワークを提案する。
DSNは、サンプリングモジュールと分類モジュールから構成されており、その目的は、どのクリップをオンザフライで選択し、どのクリップを保持して、これらの選択されたクリップに基づいてアクション認識を行うかを訓練するサンプリングポリシーを学習することである。
UCF101, HMDB51, THUMOS14, ActivityNet v1.3の4つのアクション認識データセット上で, DSNフレームワークのさまざまな側面について検討した。
論文 参考訳(メタデータ) (2020-06-28T09:48:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。