論文の概要: PerTok: Expressive Encoding and Modeling of Symbolic Musical Ideas and Variations

• arxiv url: http://arxiv.org/abs/2410.02060v1
• Date: Wed, 2 Oct 2024 22:11:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 09:15:24.922790
• Title: PerTok: Expressive Encoding and Modeling of Symbolic Musical Ideas and Variations
• Title（参考訳）: PerTok: シンボリック音楽のアイデアと変奏の表現的エンコーディングとモデリング
• Authors: Julian Lenz, Anirudh Mani,
• Abstract要約: Cadenzaは、シンボリック・ミュージック・アイデアの表現的バリエーションを予測するための、新しい多段階生成フレームワークである。 提案するフレームワークは,1)コンストラクタと2)パフォーマの2段階からなる。 我々のフレームワークはミュージシャンにインスピレーションを与える目的で設計、研究、実装されている。
• 参考スコア（独自算出の注目度）: 0.3683202928838613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Cadenza, a new multi-stage generative framework for predicting expressive variations of symbolic musical ideas as well as unconditional generations. To accomplish this we propose a novel MIDI encoding method, PerTok (Performance Tokenizer) that captures minute expressive details whilst reducing sequence length up to 59% and vocabulary size up to 95% for polyphonic, monophonic and rhythmic tasks. The proposed framework comprises of two sequential stages: 1) Composer and 2) Performer. The Composer model is a transformer-based Variational Autoencoder (VAE), with Rotary Positional Embeddings (RoPE)ROPE and an autoregressive decoder modified to more effectively integrate the latent codes of the input musical idea. The Performer model is a bidirectional transformer encoder that is separately trained to predict velocities and microtimings on MIDI sequences. Objective and human evaluations demonstrate Cadenza's versatile capability in 1) matching other unconditional state-of-the-art symbolic models in musical quality whilst sounding more expressive, and 2) composing new, expressive ideas that are both stylistically related to the input whilst providing novel ideas to the user. Our framework is designed, researched and implemented with the objective of ethically providing inspiration for musicians.
• Abstract（参考訳）: カデンザ(Cadenza)は、記号的音楽観念の表現的変化と無条件世代を予測するための、新しい多段階生成フレームワークである。 そこで本研究では,提案するMIDI符号化手法であるPerTok(Performance Tokenizer)を提案する。 提案するフレームワークは,2段階からなる。 1)作曲者・作曲者 2)演奏者。 Composerモデルはトランスフォーマーベースの変分自動エンコーダ(VAE)であり、Rotary Positional Embeddings (RoPE)ROPEと、入力された音楽アイデアの潜時符号をより効果的に統合するために修正された自動回帰デコーダを備える。 Performerモデルは双方向トランスフォーマーエンコーダであり、MIDIシーケンス上で速度とマイクロチューニングを予測するために別々に訓練されている。 客観的・人的評価はカデンザの多角的能力を示す 1) より表現力のある発音をしながら、他の非条件の最先端の記号モデルと音楽的品質の整合性 2) ユーザに対して斬新なアイデアを提供しながら, 入力にスタイリスティックに関連した, 表現力に富んだ新しいアイデアを構築すること。 我々のフレームワークは、ミュージシャンに倫理的にインスピレーションを与える目的で設計、研究、実装されている。

関連論文リスト

• Exploring Classical Piano Performance Generation with Expressive Music Variational AutoEncoder [15.668253435545921]
  本稿では,作曲家とピアニストの二重的役割をエミュレートすることを目的とした,クラシックピアノの演奏をゼロから創り出すという課題に対処する。 本稿では,古典演奏の韻律的構造と表現的ニュアンスの両方を効果的に捉えた表現的複合語表現を提案する。 本稿では,楽譜関連コンテンツを生成するベクトル量子変分オートエンコーダ(VQ-VAE)ブランチと,表現的詳細を生成するバニラVAEブランチという,ピアノ奏者の役割を果たす2つのブランチを特徴とするモデルであるExpressive Music Variational AutoEncoder(XMVAE)を提案する。
  論文  参考訳（メタデータ） (2025-07-02T10:54:23Z)
• Scaling Self-Supervised Representation Learning for Symbolic Piano Performance [52.661197827466886]
  本研究では,多量のシンボリック・ピアノ転写を訓練した自己回帰型トランスフォーマモデルの能力について検討した。 比較的小型で高品質なサブセットをファインチューンモデルに使い、音楽の継続を生成、シンボリックな分類タスクを実行し、汎用的なコントラストMIDI埋め込みを生成する。
  論文  参考訳（メタデータ） (2025-06-30T14:00:14Z)
• DuetGen: Music Driven Two-Person Dance Generation via Hierarchical Masked Modeling [70.79846001735547]
  音楽から対話的な2人舞踊を生成するためのフレームワークであるDuetGenを提案する。 近年の運動合成の進歩に触発されて,我々は2段階の解法を提案する。 我々は、両方のダンサーの動きを統合された全体として表現し、必要な動きトークンを学習する。
  論文  参考訳（メタデータ） (2025-06-23T14:22:50Z)
• Adaptive Accompaniment with ReaLchords [60.690020661819055]
  ユーザのメロディに合わせてコード伴奏を即興するオンライン生成モデルであるReaLchordsを提案する。 まず、最大で事前訓練されたオンラインモデルから始め、強化学習を使用して、オンライン使用のためのモデルを微調整します。
  論文  参考訳（メタデータ） (2025-06-17T16:59:05Z)
• LeVo: High-Quality Song Generation with Multi-Preference Alignment [49.94713419553945]
  本稿では、LLMと音楽伴奏からなるLMベースのフレームワークであるLeVoを紹介する。 LeVoは2種類のトークンを並列にモデル化することができる: 混合トークンは声帯の合成音声を表し、声帯と伴奏を別々にエンコードする二重トラックトークンである。 実験の結果,LeVoは客観的指標と主観的指標の両方において,既存の手法よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-06-09T07:57:24Z)
• SongGen: A Single Stage Auto-regressive Transformer for Text-to-Song Generation [75.86473375730392]
  SongGenは、コントロール可能な曲を生成するための、完全なオープンソースでシングルステージの自動回帰トランスフォーマーである。 音声と伴奏の混合を生成する混合モードと、それらを別々に合成するデュアルトラックモードの2つの出力モードをサポートする。 コミュニティの関与と今後の研究を促進するため、私たちは、モデルの重み付け、トレーニングコード、注釈付きデータ、前処理パイプラインをリリースします。
  論文  参考訳（メタデータ） (2025-02-18T18:52:21Z)
• MuPT: A Generative Symbolic Music Pretrained Transformer [56.09299510129221]
  音楽の事前学習におけるLarge Language Models (LLM) の適用について検討する。 生成過程の異なるトラックからの不整合対策に関連する課題に対処するために,SMT-ABC Notation(Synchronized Multi-Track ABC Notation)を提案する。 私たちのコントリビューションには、最大8192個のトークンを処理可能な一連のモデルが含まれており、トレーニングセットの象徴的な音楽データの90%をカバーしています。
  論文  参考訳（メタデータ） (2024-04-09T15:35:52Z)
• Prompt-Singer: Controllable Singing-Voice-Synthesis with Natural Language Prompt [50.25271407721519]
  本稿では,歌手の性別,声域,音量を自然言語で制御できる最初のSVS手法であるPrompt-Singerを提案する。 我々は,マルチスケール階層を持つデコーダのみの変換器に基づくモデルアーキテクチャを採用し,レンジメロディデカップリングされたピッチ表現を設計する。 実験により,本モデルは良好な制御能力と音質が得られることが示された。
  論文  参考訳（メタデータ） (2024-03-18T13:39:05Z)
• Multi-view MidiVAE: Fusing Track- and Bar-view Representations for Long Multi-track Symbolic Music Generation [50.365392018302416]
  長い多トラックのシンボリック・ミュージックを効果的にモデル化・生成するVAE手法の先駆者の一つであるMulti-view MidiVAEを提案する。 我々は,ハイブリッドな変分符号化・復号化戦略を用いて,楽器の特徴と調和,および楽曲のグローバルおよびローカルな情報に焦点をあてる。
  論文  参考訳（メタデータ） (2024-01-15T08:41:01Z)
• Simple and Controllable Music Generation [94.61958781346176]
  MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。 以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
  論文  参考訳（メタデータ） (2023-06-08T15:31:05Z)
• Mel Spectrogram Inversion with Stable Pitch [0.0]
  ボーコーダ(Vocoder)は、音声信号(通常はメルスペクトル)の低次元スペクトル表現を波形に変換することのできるモデルである。 近年,音声認識のために開発されたボコーダモデルは,高いリアリズムを実現する。 音声と比較して、音のテクスチャの構造は新たな課題をもたらす。
  論文  参考訳（メタデータ） (2022-08-26T17:01:57Z)
• Symphony Generation with Permutation Invariant Language Model [57.75739773758614]
  変分不変言語モデルに基づくシンフォニーネットという記号的シンフォニー音楽生成ソリューションを提案する。 シンフォニートークンの超長いシーケンスをモデル化するためのバックボーンとして、新しいトランスフォーマーデコーダアーキテクチャが導入された。 実験結果から,提案手法は人間の構成と比べ,コヒーレント,新規,複雑,調和的な交響曲を生成できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-10T13:08:49Z)
• Deep Performer: Score-to-Audio Music Performance Synthesis [30.95307878579825]
  Deep Performer(ディープ・パーフォーマー)は、音楽の楽譜合成のための新しいシステムである。 音声とは異なり、音楽はポリフォニーや長い音符を含むことが多い。 提案モデルでは, 鮮明なポリフォニーとハーモニック構造で楽曲を合成できることが示されている。
  論文  参考訳（メタデータ） (2022-02-12T10:36:52Z)
• An Empirical Evaluation of End-to-End Polyphonic Optical Music Recognition [24.377724078096144]
  ピアノと管弦楽の楽譜は多音節をしばしば示しており、これはその課題に第2の次元を付け加えている。 終端ポリフォニックOMRの2つの新しい定式化法を提案する。 我々は,マルチシーケンス検出デコーダであるRNNDecoderを用いて,新しい最先端性能を観察する。
  論文  参考訳（メタデータ） (2021-08-03T22:04:40Z)
• MuseMorphose: Full-Song and Fine-Grained Music Style Transfer with Just One Transformer VAE [36.9033909878202]
  トランスフォーマーと可変オートエンコーダ(VAE)は、シンボリック(例えばMIDI)ドメイン音楽生成に広く採用されている。 本稿では,両強みを示す単一のモデルを構築するために,この2つをまとめることに興味がある。 実験により、musemorphoseはrecurrent neural network(rnn)よりも多くのスタイル転送タスクで広く使われているメトリクスを先行技術で上回っていることが示されている。
  論文  参考訳（メタデータ） (2021-05-10T03:44:03Z)
• Music Gesture for Visual Sound Separation [121.36275456396075]
  ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。 まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
  論文  参考訳（メタデータ） (2020-04-20T17:53:46Z)
• Continuous Melody Generation via Disentangled Short-Term Representations and Structural Conditions [14.786601824794369]
  ユーザが指定したシンボリックシナリオと過去の音楽コンテキストを組み合わせることで,メロディーを構成するモデルを提案する。 本モデルでは,8拍子の音符列を基本単位として長い旋律を生成でき,一貫したリズムパターン構造を他の特定の歌と共有することができる。 その結果,本モデルが生成する音楽は,顕著な繰り返し構造,豊かな動機,安定したリズムパターンを有する傾向が示唆された。
  論文  参考訳（メタデータ） (2020-02-05T06:23:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。