論文の概要: Reconstructing Human Expressiveness in Piano Performances with a Transformer Network

• arxiv url: http://arxiv.org/abs/2306.06040v1
• Date: Fri, 9 Jun 2023 17:05:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 12:21:59.945206
• Title: Reconstructing Human Expressiveness in Piano Performances with a Transformer Network
• Title（参考訳）: 変圧器ネットワークを用いたピアノ演奏における人間の表現性再構築
• Authors: Jingjing Tang, Geraint Wiggins, George Fazekas
• Abstract要約: 多層双方向トランスフォーマーエンコーダを用いたピアノ演奏における人間の表現性再構築手法を提案する。 ニューラルネットワークのトレーニングにおいて、精度の高いキャプチャとスコア整合性能データの必要性に対処するために、既存の転写モデルから得られた書き起こしスコアを用いてモデルを訓練する。
• 参考スコア（独自算出の注目度）: 2.5137859989323537
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Capturing intricate and subtle variations in human expressiveness in music performance using computational approaches is challenging. In this paper, we propose a novel approach for reconstructing human expressiveness in piano performance with a multi-layer bi-directional Transformer encoder. To address the needs for large amounts of accurately captured and score-aligned performance data in training neural networks, we use transcribed scores obtained from an existing transcription model to train our model. We integrate pianist identities to control the sampling process and explore the ability of our system to model variations in expressiveness for different pianists. The system is evaluated through statistical analysis of generated expressive performances and a listening test. Overall, the results suggest that our method achieves state-of-the-art in generating human-like piano performances from transcribed scores, while fully and consistently reconstructing human expressiveness poses further challenges.
• Abstract（参考訳）: 計算的アプローチによる音楽演奏における人間の表現力の複雑で微妙な変化を捉えることは困難である。 本稿では,多層双方向トランスフォーマーエンコーダを用いたピアノ演奏における人間の表現性再構築手法を提案する。 ニューラルネットワークのトレーニングにおいて,大量の精度取得とスコア整合性能データの必要性に対処するために,既存の転写モデルから得られた転写スコアを用いてモデルを訓練する。 我々はピアニストのアイデンティティを統合してサンプリングプロセスを制御し、異なるピアニストに対する表現性のバリエーションをモデル化するシステムの可能性を探る。 本システムは,生成した表現性能の統計的解析と聴取テストにより評価する。 以上の結果から,本手法は書き起こされた楽譜から人間的なピアノ演奏を生成する上での最先端の手法であり,人間の表現性を完全かつ一貫した再構築はさらなる課題をもたらすことが示唆された。

関連論文リスト

• Boosting Semi-Supervised Scene Text Recognition via Viewing and Summarizing [71.29488677105127]
  既存のシーンテキスト認識(STR)手法は、特に芸術的で歪んだ文字に対して、挑戦的なテキストを認識するのに苦労している。 人的コストを伴わずに、合成データと実際のラベルなしデータを活用して、対照的な学習ベースのSTRフレームワークを提案する。 本手法は,共通ベンチマークとUnion14M-Benchmarkで平均精度94.7%,70.9%のSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-11-23T15:24:47Z)
• Speech2UnifiedExpressions: Synchronous Synthesis of Co-Speech Affective Face and Body Expressions from Affordable Inputs [67.27840327499625]
  本稿では,デジタル文字の表情と上半身ジェスチャーを同時に合成するマルチモーダル学習手法を提案する。 提案手法は, 映像データから直接推定される, まばらな顔のランドマークと上体関節から学習し, もっともらしい感情的性格運動を生成する。
  論文  参考訳（メタデータ） (2024-06-26T04:53:11Z)
• End-to-End Real-World Polyphonic Piano Audio-to-Score Transcription with Hierarchical Decoding [4.604877755214193]
  既存のピアノA2Sシステムは、合成データのみで訓練され、評価されている。 楽譜の階層構造に整合した階層デコーダを用いたシーケンス・ツー・シーケンス(Seq2Seq)モデルを提案する。 本研究では,合成音声上での表現的パフォーマンスレンダリングシステムを用いてモデルを事前学習する2段階学習手法を提案し,続いて人間の演奏記録を用いてモデルを微調整する。
  論文  参考訳（メタデータ） (2024-05-22T10:52:04Z)
• An investigation of the reconstruction capacity of stacked convolutional autoencoders for log-mel-spectrograms [2.3204178451683264]
  音声処理アプリケーションでは、ハイレベルな表現に基づく表現力のある音声の生成は、高い需要を示す。 ニューラルネットワークのような現代のアルゴリズムは、楽器の圧縮に基づく表現型シンセサイザーの開発にインスピレーションを与えている。 本研究では,多種多様な楽器に対する時間周波数音声表現の圧縮のための畳み込み畳み込みオートエンコーダについて検討した。
  論文  参考訳（メタデータ） (2023-01-18T17:19:04Z)
• Exploring the Efficacy of Pre-trained Checkpoints in Text-to-Music Generation Task [86.72661027591394]
  テキスト記述から完全で意味論的に一貫したシンボリック音楽の楽譜を生成する。 テキスト・音楽生成タスクにおける自然言語処理のための公開チェックポイントの有効性について検討する。 実験結果から, BLEUスコアと編集距離の類似性において, 事前学習によるチェックポイントの使用による改善が統計的に有意であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-21T07:19:17Z)
• Music Instrument Classification Reprogrammed [79.68916470119743]
  プログラム」とは、事前学習されたモデルの入力と出力の両方を修正・マッピングすることで、もともと異なるタスクをターゲットにした、事前学習された深層・複雑なニューラルネットワークを利用する手法である。 本研究では,異なるタスクで学習した表現のパワーを効果的に活用できることを実証し,結果として得られた再プログラムシステムは,訓練パラメータのごく一部で,同等あるいはそれ以上の性能を持つシステムでも実行可能であることを実証する。
  論文  参考訳（メタデータ） (2022-11-15T18:26:01Z)
• Comparision Of Adversarial And Non-Adversarial LSTM Music Generative Models [2.569647910019739]
  この研究は、MIDIデータに基づいて、リカレントニューラルネットワーク音楽作曲家の敵対的および非敵対的な訓練を実装し、比較する。 この評価は, 対人訓練がより審美的に楽しむ音楽を生み出すことを示唆している。
  論文  参考訳（メタデータ） (2022-11-01T20:23:49Z)
• Improved Speech Emotion Recognition using Transfer Learning and Spectrogram Augmentation [56.264157127549446]
  音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。 SERの主な課題の1つは、データの不足である。 本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-05T10:39:39Z)
• Training a Deep Neural Network via Policy Gradients for Blind Source Separation in Polyphonic Music Recordings [1.933681537640272]
  音響信号における楽器の音の盲点分離法を提案する。 パラメトリックモデルを用いて個々の音色を記述し、辞書を訓練し、高調波の相対振幅を捉える。 提案アルゴリズムは,様々な音声サンプルに対して,特に低干渉で高品質な結果が得られる。
  論文  参考訳（メタデータ） (2021-07-09T06:17:04Z)
• Structure-Aware Audio-to-Score Alignment using Progressively Dilated Convolutional Neural Networks [8.669338893753885]
  音楽演奏と楽譜の間の構造的差異の同定は、音声とスコアのアライメントにおいて難しいが不可欠なステップである。 本稿では、進化的に拡張された畳み込みニューラルネットワークを用いて、そのような違いを検出する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-01-31T05:14:58Z)
• Score-informed Networks for Music Performance Assessment [64.12728872707446]
  MPAモデルにスコア情報を組み込んだディープニューラルネットワークに基づく手法はまだ研究されていない。 スコアインフォームド性能評価が可能な3つのモデルを提案する。
  論文  参考訳（メタデータ） (2020-08-01T07:46:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。