論文の概要: AutoClip: Adaptive Gradient Clipping for Source Separation Networks

• arxiv url: http://arxiv.org/abs/2007.14469v1
• Date: Sat, 25 Jul 2020 20:59:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 01:01:32.669803
• Title: AutoClip: Adaptive Gradient Clipping for Source Separation Networks
• Title（参考訳）: autoclip: ソース分離ネットワークのための適応勾配クリッピング
• Authors: Prem Seetharaman, Gordon Wichern, Bryan Pardo, Jonathan Le Roux
• Abstract要約: AutoClipは、勾配クリッピングしきい値を自動的に適応的に選択する方法である。 実験の結果,AutoClipの適用により,音源分離ネットワークの性能が向上することがわかった。
• 参考スコア（独自算出の注目度）: 45.58157519349822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Clipping the gradient is a known approach to improving gradient descent, but requires hand selection of a clipping threshold hyperparameter. We present AutoClip, a simple method for automatically and adaptively choosing a gradient clipping threshold, based on the history of gradient norms observed during training. Experimental results show that applying AutoClip results in improved generalization performance for audio source separation networks. Observation of the training dynamics of a separation network trained with and without AutoClip show that AutoClip guides optimization into smoother parts of the loss landscape. AutoClip is very simple to implement and can be integrated readily into a variety of applications across multiple domains.
• Abstract（参考訳）: 勾配のクリッピングは、勾配降下を改善するための既知のアプローチであるが、クリッピングしきい値ハイパーパラメータのハンドセレクションを必要とする。 本稿では,学習中に観測された勾配ノルムの履歴に基づいて,勾配クリッピングしきい値を自動的に適応的に選択する手法であるautoclipを提案する。 実験の結果,autoclipの適用により,音源分離ネットワークの一般化性能が向上した。 AutoClipでトレーニングされた分離ネットワークのトレーニングダイナミクスを観察すると、AutoClipは損失ランドスケープのよりスムーズな部分に最適化を誘導することを示している。 AutoClipは実装が非常に簡単で、複数のドメインにわたるさまざまなアプリケーションに簡単に統合できます。

関連論文リスト

• Stepping Forward on the Last Mile [8.756033984943178]
  本稿では,バックプロパゲーションと比較してメモリフットプリントと精度のギャップを低減させるアルゴリズムの一連の拡張を提案する。 その結果、エッジデバイス上でのモデルカスタマイズの最後のマイルでは、固定点前方勾配によるトレーニングが実現可能で実践的なアプローチであることが示されている。
  論文  参考訳（メタデータ） (2024-11-06T16:33:21Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Efficiently Train ASR Models that Memorize Less and Perform Better with Per-core Clipping [27.547461769425855]
  Per-core clip-ping (PCC) は、ASRモデルにおける意図しない記憶を効果的に緩和することができる。 PCCはASRのパフォーマンス指標に肯定的な影響を与え、収束率の改善と単語誤り率の削減につながった。
  論文  参考訳（メタデータ） (2024-06-04T06:34:33Z)
• Exploring the Limits of Differentially Private Deep Learning with Group-wise Clipping [91.60608388479645]
  本研究では, クリッピングとバックプロパゲーションを併用して, 異なる最適化手法でクリッピングを行えることを示す。 その結果、プライベートな学習は、記憶効率が良く、トレーニング更新あたりの速度は、多くの関心を持つ非プライベートな学習と同程度になる。
  論文  参考訳（メタデータ） (2022-12-03T05:20:15Z)
• Spatio-Temporal Crop Aggregation for Video Representation Learning [33.296154476701055]
  本モデルは,事前学習したバックボーンで抽出したビデオクリップレベルの特徴セットから学習することで,長距離ビデオ機能を構築する。 ビデオ表現は, 線形, 非線形, および$k$-NNを用いて, 共通の行動分類データセットを探索することにより, 最先端の性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-11-30T14:43:35Z)
• Beyond Short Clips: End-to-End Video-Level Learning with Collaborative Memories [56.91664227337115]
  本稿では,ビデオの複数のサンプルクリップにまたがる情報を,トレーニングイテレーション毎にエンコードするコラボレーティブメモリ機構を提案する。 これにより、単一のクリップ以上の長距離依存関係の学習が可能になる。 提案するフレームワークはエンドツーエンドでトレーニング可能で,計算オーバーヘッドが無視できないビデオ分類精度が大幅に向上する。
  論文  参考訳（メタデータ） (2021-04-02T18:59:09Z)
• Ada-Segment: Automated Multi-loss Adaptation for Panoptic Segmentation [95.31590177308482]
  我々は,トレーニング期間中に複数のトレーニング損失を柔軟に調整する自動マルチロス適応(ada-segment)を提案する。 エンドツーエンドアーキテクチャにより、ada-segmentはハイパーパラメータを再チューニングすることなく、異なるデータセットに一般化する。 Ada-Segmentは、バニラベースラインからCOCOval分割に2.7%のパノラマ品質(PQ)改善をもたらし、COCOテストデブ分割に最新の48.5%PQ、ADE20Kデータセットに32.9%PQを達成しました。
  論文  参考訳（メタデータ） (2020-12-07T11:43:10Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• Dynamic Sampling Networks for Efficient Action Recognition in Videos [43.51012099839094]
  Em Dynamic Smpling Networks (DSN) と呼ばれるビデオにおける行動認識のための新しいフレームワークを提案する。 DSNは、サンプリングモジュールと分類モジュールから構成されており、その目的は、どのクリップをオンザフライで選択し、どのクリップを保持して、これらの選択されたクリップに基づいてアクション認識を行うかを訓練するサンプリングポリシーを学習することである。 UCF101, HMDB51, THUMOS14, ActivityNet v1.3の4つのアクション認識データセット上で, DSNフレームワークのさまざまな側面について検討した。
  論文  参考訳（メタデータ） (2020-06-28T09:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。