論文の概要: Optimizing Short-Time Fourier Transform Parameters via Gradient Descent

• arxiv url: http://arxiv.org/abs/2010.15049v2
• Date: Thu, 18 Feb 2021 22:42:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 06:31:44.267145
• Title: Optimizing Short-Time Fourier Transform Parameters via Gradient Descent
• Title（参考訳）: 勾配降下による短時間フーリエ変換パラメータの最適化
• Authors: An Zhao, Krishna Subramani and Paris Smaragdis
• Abstract要約: 任意のコスト関数に対してSTFTパラメータの勾配を求める方法を示す。 我々は、入力全体を通して一定であるパラメータ値に対して、また、これらのパラメータが様々な信号特性に対応するために、時間とともに動的に変化しなければならない場合にも、そうする。
• 参考スコア（独自算出の注目度）: 24.80575785857326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Short-Time Fourier Transform (STFT) has been a staple of signal processing, often being the first step for many audio tasks. A very familiar process when using the STFT is the search for the best STFT parameters, as they often have significant side effects if chosen poorly. These parameters are often defined in terms of an integer number of samples, which makes their optimization non-trivial. In this paper we show an approach that allows us to obtain a gradient for STFT parameters with respect to arbitrary cost functions, and thus enable the ability to employ gradient descent optimization of quantities like the STFT window length, or the STFT hop size. We do so for parameter values that stay constant throughout an input, but also for cases where these parameters have to dynamically change over time to accommodate varying signal characteristics.
• Abstract（参考訳）: 短い時間フーリエ変換(STFT)は信号処理の基礎であり、多くのオーディオタスクの第一段階であることが多い。 STFTを使用する際の非常によく知られたプロセスは、最適なSTFTパラメータを探索することである。 これらのパラメータは、しばしば整数数のサンプルで定義されるため、最適化は簡単ではない。 本稿では、任意のコスト関数に対してSTFTパラメータの勾配を求めることができ、STFTウィンドウ長やSTFTホップサイズなどの量に対して勾配勾配最適化を適用することができるアプローチを提案する。 我々は、入力中ずっと一定であるパラメータ値だけでなく、様々な信号特性に対応するために、これらのパラメータが時間とともに動的に変化しなければならない場合についてもそうする。

関連論文リスト

• Visual Fourier Prompt Tuning [63.66866445034855]
  本稿では,大規模なトランスフォーマーモデルに適用するための汎用的で効果的な方法として,Visual Fourier Prompt Tuning (VFPT)法を提案する。 提案手法では,高速フーリエ変換を即時埋め込みに取り入れ,空間領域情報と周波数領域情報の両方を調和的に検討する。 提案手法は,2つのベンチマークにおいて,現状のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-02T18:18:35Z)
• Zeroth-Order Fine-Tuning of LLMs with Extreme Sparsity [66.67596152389591]
  ゼロ階最適化(ZO)は、微調整された大規模言語モデルのためのメモリ効率の高い戦略である。 本研究では,ZO を用いた LLM パラメータの極小サブセットの微調整の実現可能性について検討した。 この結果から,ZO を用いた LLM の微調整パラメータ 0.1% は,ZO の微調整性能より優れることが示された。
  論文  参考訳（メタデータ） (2024-06-05T04:07:35Z)
• Parameter-Efficient Orthogonal Finetuning via Butterfly Factorization [102.92240148504774]
  下流タスク適応のための原則的微調整パラダイムである直交微調整(Orthogonal Finetuning, OFT)について検討する。 優れた一般化性を示しているにもかかわらず、OFTはまだかなり多くのトレーニング可能なパラメータを使っている。 我々はこのパラメータ化をOFTに適用し、ORFT(Orthogonal Butterfly)と呼ばれる新しいパラメータ効率の微調整法を開発した。
  論文  参考訳（メタデータ） (2023-11-10T18:59:54Z)
• DePT: Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning [14.975436239088312]
  ソフトプロンプトを短いソフトプロンプトと2つの異なる学習率で最適化された低ランク行列に分解するDePTを提案する。 DePTは、いくつかのシナリオにおいて、完全な微調整ベースラインを含む最先端のPEFTアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-11T00:02:05Z)
• Differentiable short-time Fourier transform with respect to the hop length [4.664495510551647]
  本稿では,ホップ長やフレーム時間位置の勾配に基づく最適化が可能な,短時間フーリエ変換(STFT)の微分可能バージョンを提案する。 提案手法は、ホップ長の連続的な性質により、より微調整された最適化が可能となるため、フレームの時間的位置決めの制御を改善する。
  論文  参考訳（メタデータ） (2023-07-26T07:04:09Z)
• Differentiable adaptive short-time Fourier transform with respect to the window length [4.664495510551647]
  本稿では,短時間フーリエ変換(STFT)のフレーム単位と周波数単位のウィンドウ長に対する勾配に基づく最適化手法を提案する。 結果として得られる微分可能適応STFTは、過渡成分と定常成分の両方に同じ時間周波数表現で適応できるなど、可換性を持っているが、勾配降下により容易に最適化できる。
  論文  参考訳（メタデータ） (2023-07-26T06:55:42Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Optimization using Parallel Gradient Evaluations on Multiple Parameters [51.64614793990665]
  本稿では,複数のパラメータからの勾配を勾配降下の各ステップで利用することができる凸最適化の一階法を提案する。 本手法では,複数のパラメータからの勾配を用いて,これらのパラメータを最適方向に更新する。
  論文  参考訳（メタデータ） (2023-02-06T23:39:13Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)
• A differentiable short-time Fourier transform with respect to the window length [4.0527583944137255]
  ニューラルネットワークにおけるスペクトログラムの使用について,ウィンドウ長を降下勾配によって最適化可能な連続パラメータにすることで再検討する。 この貢献は主に理論的に理論的だが、修正されたSTFTを既存のニューラルネットワークに接続するのは簡単である。
  論文  参考訳（メタデータ） (2022-08-23T11:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。