論文の概要: Optimizing Short-Time Fourier Transform Parameters via Gradient Descent
- arxiv url: http://arxiv.org/abs/2010.15049v2
- Date: Thu, 18 Feb 2021 22:42:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-02 06:31:44.267145
- Title: Optimizing Short-Time Fourier Transform Parameters via Gradient Descent
- Title(参考訳): 勾配降下による短時間フーリエ変換パラメータの最適化
- Authors: An Zhao, Krishna Subramani and Paris Smaragdis
- Abstract要約: 任意のコスト関数に対してSTFTパラメータの勾配を求める方法を示す。
我々は、入力全体を通して一定であるパラメータ値に対して、また、これらのパラメータが様々な信号特性に対応するために、時間とともに動的に変化しなければならない場合にも、そうする。
- 参考スコア(独自算出の注目度): 24.80575785857326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Short-Time Fourier Transform (STFT) has been a staple of signal
processing, often being the first step for many audio tasks. A very familiar
process when using the STFT is the search for the best STFT parameters, as they
often have significant side effects if chosen poorly. These parameters are
often defined in terms of an integer number of samples, which makes their
optimization non-trivial. In this paper we show an approach that allows us to
obtain a gradient for STFT parameters with respect to arbitrary cost functions,
and thus enable the ability to employ gradient descent optimization of
quantities like the STFT window length, or the STFT hop size. We do so for
parameter values that stay constant throughout an input, but also for cases
where these parameters have to dynamically change over time to accommodate
varying signal characteristics.
- Abstract(参考訳): 短い時間フーリエ変換(STFT)は信号処理の基礎であり、多くのオーディオタスクの第一段階であることが多い。
STFTを使用する際の非常によく知られたプロセスは、最適なSTFTパラメータを探索することである。
これらのパラメータは、しばしば整数数のサンプルで定義されるため、最適化は簡単ではない。
本稿では、任意のコスト関数に対してSTFTパラメータの勾配を求めることができ、STFTウィンドウ長やSTFTホップサイズなどの量に対して勾配勾配最適化を適用することができるアプローチを提案する。
我々は、入力中ずっと一定であるパラメータ値だけでなく、様々な信号特性に対応するために、これらのパラメータが時間とともに動的に変化しなければならない場合についてもそうする。
関連論文リスト
- Parameter-Efficient Orthogonal Finetuning via Butterfly Factorization [81.55024300036388]
下流タスク適応のための原則的微調整パラダイムである直交微調整(Orthogonal Finetuning, OFT)について検討する。
優れた一般化性を示しているにもかかわらず、OFTはまだかなり多くのトレーニング可能なパラメータを使っている。
我々はこのパラメータ化をOFTに適用し、ORFT(Orthogonal Butterfly)と呼ばれる新しいパラメータ効率の微調整法を開発した。
論文 参考訳(メタデータ) (2023-11-10T18:59:54Z) - DePT: Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning [14.975436239088312]
ソフトプロンプトを短いソフトプロンプトと2つの異なる学習率で最適化された低ランク行列に分解するDePTを提案する。
DePTは、いくつかのシナリオにおいて、完全な微調整ベースラインを含む最先端のPEFTアプローチよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-09-11T00:02:05Z) - Differentiable short-time Fourier transform with respect to the hop
length [4.664495510551647]
本稿では,ホップ長やフレーム時間位置の勾配に基づく最適化が可能な,短時間フーリエ変換(STFT)の微分可能バージョンを提案する。
提案手法は、ホップ長の連続的な性質により、より微調整された最適化が可能となるため、フレームの時間的位置決めの制御を改善する。
論文 参考訳(メタデータ) (2023-07-26T07:04:09Z) - Differentiable adaptive short-time Fourier transform with respect to the
window length [4.664495510551647]
本稿では,短時間フーリエ変換(STFT)のフレーム単位と周波数単位のウィンドウ長に対する勾配に基づく最適化手法を提案する。
結果として得られる微分可能適応STFTは、過渡成分と定常成分の両方に同じ時間周波数表現で適応できるなど、可換性を持っているが、勾配降下により容易に最適化できる。
論文 参考訳(メタデータ) (2023-07-26T06:55:42Z) - Universality and Limitations of Prompt Tuning [65.8354898840308]
トランスフォーマーアーキテクチャにおけるソフトプロンプトチューニングの役割を理解するための最初のステップの1つを取り上げる。
連続値関数に対する有限深度事前学習型変圧器を用いて、普遍性と制限のレンズからの即時チューニングを解析する。
この結果は、リプシッツ関数の集合における任意の列列列関数を近似するプロンプトを持つ強変換器の存在を保証する。
論文 参考訳(メタデータ) (2023-05-30T06:47:07Z) - Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
私たちは新しいビジュアルを提案します。
Sensuous-Aware Fine-Tuning (SPT) スキーム。
SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。
ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
論文 参考訳(メタデータ) (2023-03-15T12:34:24Z) - Optimization using Parallel Gradient Evaluations on Multiple Parameters [51.64614793990665]
本稿では,複数のパラメータからの勾配を勾配降下の各ステップで利用することができる凸最適化の一階法を提案する。
本手法では,複数のパラメータからの勾配を用いて,これらのパラメータを最適方向に更新する。
論文 参考訳(メタデータ) (2023-02-06T23:39:13Z) - AutoPEFT: Automatic Configuration Search for Parameter-Efficient
Fine-Tuning [77.61565726647784]
ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。
本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
論文 参考訳(メタデータ) (2023-01-28T08:51:23Z) - Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。
勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。
我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
論文 参考訳(メタデータ) (2022-12-16T11:15:39Z) - A differentiable short-time Fourier transform with respect to the window
length [4.0527583944137255]
ニューラルネットワークにおけるスペクトログラムの使用について,ウィンドウ長を降下勾配によって最適化可能な連続パラメータにすることで再検討する。
この貢献は主に理論的に理論的だが、修正されたSTFTを既存のニューラルネットワークに接続するのは簡単である。
論文 参考訳(メタデータ) (2022-08-23T11:38:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。