論文の概要: Exploring Sampling Techniques for Generating Melodies with a Transformer Language Model

• arxiv url: http://arxiv.org/abs/2308.09454v1
• Date: Fri, 18 Aug 2023 10:34:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 13:38:42.573334
• Title: Exploring Sampling Techniques for Generating Melodies with a Transformer Language Model
• Title（参考訳）: 変圧器言語モデルを用いたメロディ生成のためのサンプリング手法の検討
• Authors: Mathias Rose Bjare, Stefan Lattner and Gerhard Widmer
• Abstract要約: 異なるサンプリング手法が多様性や構造などの音楽的品質に与える影響について検討する。 分散トランケーションサンプリング手法を用いて生成したサンプルの音質を解析する。
• 参考スコア（独自算出の注目度）: 3.997809845676912
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research in natural language processing has demonstrated that the quality of generations from trained autoregressive language models is significantly influenced by the used sampling strategy. In this study, we investigate the impact of different sampling techniques on musical qualities such as diversity and structure. To accomplish this, we train a high-capacity transformer model on a vast collection of highly-structured Irish folk melodies and analyze the musical qualities of the samples generated using distribution truncation sampling techniques. Specifically, we use nucleus sampling, the recently proposed "typical sampling", and conventional ancestral sampling. We evaluate the effect of these sampling strategies in two scenarios: optimal circumstances with a well-calibrated model and suboptimal circumstances where we systematically degrade the model's performance. We assess the generated samples using objective and subjective evaluations. We discover that probability truncation techniques may restrict diversity and structural patterns in optimal circumstances, but may also produce more musical samples in suboptimal circumstances.
• Abstract（参考訳）: 自然言語処理の研究は、訓練された自己回帰言語モデルからの世代の品質が、使用済みサンプリング戦略に大きく影響していることを示してきた。 本研究では,異なるサンプリング手法が多様性や構造などの音楽的品質に与える影響について検討する。 そこで本研究では,アイルランド民謡の膨大なコレクション上に高容量トランスフォーマーモデルをトレーニングし,分散トランケーションサンプリング技術を用いて生成されたサンプルの音質を解析する。 具体的には、最近提案された「典型サンプリング」と従来の祖先サンプリングを用いる。 モデルモデルを用いた最適条件と、モデルの性能を体系的に劣化させる最適条件の2つのシナリオにおいて、これらのサンプリング戦略の効果を評価する。 対象および主観的評価を用いて生成したサンプルを評価する。 確率トランケーション手法は,最適条件下での多様性や構造パターンを制限できるが,最適条件下ではより音楽的なサンプルを生成できる可能性がある。

関連論文リスト

• Self-Guided Generation of Minority Samples Using Diffusion Models [57.319845580050924]
  データ多様体の低密度領域に居住する少数サンプルを生成するための新しい手法を提案する。 我々のフレームワークは拡散モデルに基づいて構築されており、ガイドドサンプリングの原理を生かしている。 実データセットのベンチマーク実験により、我々のアプローチは現実的な低自由度マイノリティインスタンスを作成する能力を大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2024-07-16T10:03:29Z)
• Gradient and Uncertainty Enhanced Sequential Sampling for Global Fit [0.0]
  本稿では、GUESS(Gradient and Uncertainty Enhanced Sequential Smpling)と呼ばれる、グローバル適合のための新しいサンプリング戦略を提案する。 GUESSは, 実験例における他のサロゲート型戦略と比較して, 平均的な試料効率で達成された。
  論文  参考訳（メタデータ） (2023-09-29T19:49:39Z)
• Structured Voronoi Sampling [61.629198273926676]
  本稿では,勾配に基づく手法を用いた言語モデルから抽出する原理的アプローチの構築に向けて重要な一歩を踏み出す。 我々は勾配に基づく構造ヴォロノイサンプリング(Structured Voronoi Smpling, SVS)と呼ぶ。 制御された生成タスクでは、SVSは流動的で多様なサンプルを生成できるが、制御対象は他の方法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2023-06-05T17:32:35Z)
• Energy-Based Test Sample Adaptation for Domain Generalization [81.04943285281072]
  そこで本研究では,ドメインの試験時間におけるエネルギーに基づくサンプル適応を提案する。 対象試料をソース分布に適応させるため,エネルギー最小化により反復的に試料を更新する。 画像とマイクロブログスレッドの分類のための6つのベンチマーク実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-02-22T08:55:09Z)
• Example-Based Sampling with Diffusion Models [7.943023838493658]
  画像生成のための拡散モデルは、例から点集合を生成する方法を学ぶのに適している。 拡散モデルを用いて既存のサンプルを模した2次元点集合を観測点集合から生成する方法を提案する。 我々は、我々のアプローチの微分可能性を用いて、特性を強制する点集合を最適化する方法を実証する。
  論文  参考訳（メタデータ） (2023-02-10T08:35:17Z)
• Sampling Through the Lens of Sequential Decision Making [9.101505546901999]
  我々はアダプティブ・サンプル・ウィズ・リワード(ASR)と呼ばれる報酬誘導型サンプリング戦略を提案する。 提案手法は,サンプリング過程を最適に調整し,最適性能を実現する。 情報検索とクラスタリングの実証的な結果は、異なるデータセット間でのASRのスーパーブパフォーマンスを示している。
  論文  参考訳（メタデータ） (2022-08-17T04:01:29Z)
• Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
  本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。 提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
  論文  参考訳（メタデータ） (2021-11-11T16:57:53Z)
• IQDet: Instance-wise Quality Distribution Sampling for Object Detection [25.31113751275204]
  IQDet と呼ばれるインスタンス型サンプリング戦略を備えた高密度オブジェクト検出器を提案する。 私たちの最高のモデルは51.6 APを達成し、既存のすべての最先端のワンステージディテクタを上回り、推論時間で完全にコストフリーです。
  論文  参考訳（メタデータ） (2021-04-14T15:57:22Z)
• Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
  このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。 また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
  論文  参考訳（メタデータ） (2021-02-08T20:08:50Z)
• Exploratory Landscape Analysis is Strongly Sensitive to the Sampling Strategy [8.246980996934347]
  明示的な問題表現が利用できないブラックボックス最適化では、少数のサンプルポイントから特徴値を近似する必要がある。 本研究では,サンプリング法とサンプルサイズが特徴値の近似値の品質に与える影響を解析する。
  論文  参考訳（メタデータ） (2020-06-19T13:45:13Z)
• Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior [53.69310441063162]
  本稿では,より自然な音響サンプルを生成できる離散潜在空間における逐次前処理を提案する。 本研究では,聴取試験,自動音声認識(ASR)性能の客観的指標,韻律特性の測定によるアプローチの評価を行った。
  論文  参考訳（メタデータ） (2020-02-06T12:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。