論文の概要: The Piano Inpainting Application

• arxiv url: http://arxiv.org/abs/2107.05944v1
• Date: Tue, 13 Jul 2021 09:33:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-14 22:24:49.724406
• Title: The Piano Inpainting Application
• Title（参考訳）: ピアノのインペインティング応用
• Authors: Ga\"etan Hadjeres and L\'eopold Crestel
• Abstract要約: 生成アルゴリズムは、提供された制御の制限、推論の禁止、ミュージシャンの生成への統合の欠如のために、依然としてアーティストによって広く使われていない。 本稿では,ピアノ演奏のインペインティングに着目した生成モデルであるピアノ・インペインティング・アプリケーション(PIA)について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive models are now capable of generating high-quality minute-long expressive MIDI piano performances. Even though this progress suggests new tools to assist music composition, we observe that generative algorithms are still not widely used by artists due to the limited control they offer, prohibitive inference times or the lack of integration within musicians' workflows. In this work, we present the Piano Inpainting Application (PIA), a generative model focused on inpainting piano performances, as we believe that this elementary operation (restoring missing parts of a piano performance) encourages human-machine interaction and opens up new ways to approach music composition. Our approach relies on an encoder-decoder Linear Transformer architecture trained on a novel representation for MIDI piano performances termed Structured MIDI Encoding. By uncovering an interesting synergy between Linear Transformers and our inpainting task, we are able to efficiently inpaint contiguous regions of a piano performance, which makes our model suitable for interactive and responsive A.I.-assisted composition. Finally, we introduce our freely-available Ableton Live PIA plugin, which allows musicians to smoothly generate or modify any MIDI clip using PIA within a widely-used professional Digital Audio Workstation.
• Abstract（参考訳）: オートレグレッシブ・モデルは高品質なmidiピアノ演奏を生成できるようになった。 この進歩は音楽の作曲を支援する新しいツールを示しているが、生成アルゴリズムは、演奏者のコントロールの制限、推論時間の制限、ミュージシャンのワークフローへの統合の欠如などにより、まだアーティストによって広く使われていない。 本稿では、この基本操作(ピアノ演奏の欠落部分の復元)が人間と機械の相互作用を助長し、音楽作曲へのアプローチの新たな方法を開くと信じ、ピアノ演奏のインペインティングに焦点を当てた生成モデルであるピアノインペインティング応用(pia)を提案する。 提案手法は,MIDIピアノ演奏のための新しい表現を訓練したエンコーダ・デコーダ線形変換器アーキテクチャであるStructured MIDI Encodingに依存する。 リニアトランスとインペインティングタスクの興味深い相乗効果を明らかにすることで、ピアノ演奏の連続した領域を効率的に塗り替えることができ、インタラクティブでレスポンシブなa.i.アシスト構成に適したモデルとなる。 ミュージシャンは、広く使われているデジタルオーディオワークステーション内で、piaを使ってmidiクリップをスムーズに生成または修正することができます。

関連論文リスト

• Music Proofreading with RefinPaint: Where and How to Modify Compositions given Context [1.0650780147044159]
  RefinPaintはサンプリングプロセスを改善するイテレーティブなテクニックである。 フィードバックモデルを使用して、より弱い音楽要素を特定することでこれを実現します。 実験結果から,RefinPaintの有効性が示唆された。
  論文  参考訳（メタデータ） (2024-07-12T08:52:27Z)
• MuseBarControl: Enhancing Fine-Grained Control in Symbolic Music Generation through Pre-Training and Counterfactual Loss [51.85076222868963]
  制御信号と対応する音楽トークンを直接リンクする事前学習タスクを導入する。 次に、生成した音楽と制御プロンプトとの整合性を向上する新たな対実的損失を実現する。
  論文  参考訳（メタデータ） (2024-07-05T08:08:22Z)
• Pictures Of MIDI: Controlled Music Generation via Graphical Prompts for Image-Based Diffusion Inpainting [0.0]
  本研究は,MIDIピアノロール画像に基づいて訓練されたHourglass Diffusion Transformer (HDiT)モデルを用いて,マスク付き領域の描画を可能にするユーザフレンドリーなグラフィカルインタフェースについて検討する。 メロディ,伴奏,継続の塗布に加えて,リペイントの使用は,ユーザ仕様によく適合する音楽構造をノート密度を高めるのに役立つことを実証した。
  論文  参考訳（メタデータ） (2024-07-01T17:43:45Z)
• MuPT: A Generative Symbolic Music Pretrained Transformer [56.09299510129221]
  音楽の事前学習におけるLarge Language Models (LLM) の適用について検討する。 生成過程の異なるトラックからの不整合対策に関連する課題に対処するために,SMT-ABC Notation(Synchronized Multi-Track ABC Notation)を提案する。 私たちのコントリビューションには、最大8192個のトークンを処理可能な一連のモデルが含まれており、トレーニングセットの象徴的な音楽データの90%をカバーしています。
  論文  参考訳（メタデータ） (2024-04-09T15:35:52Z)
• Arrange, Inpaint, and Refine: Steerable Long-term Music Audio Generation and Editing via Content-based Controls [6.176747724853209]
  LLM(Large Language Models)は、高品質な音楽を生成する上で有望であるが、自動回帰生成に焦点をあてることで、音楽編集タスクにおける有用性を制限している。 本稿では,パラメータ効率の高いヘテロジニアスアダプタとマスキングトレーニングスキームを組み合わせた新しいアプローチを提案する。 提案手法は, フレームレベルのコンテンツベース制御を統合し, トラックコンディショニングとスコアコンディショニングによる音楽アレンジメントを容易にする。
  論文  参考訳（メタデータ） (2024-02-14T19:00:01Z)
• MARBLE: Music Audio Representation Benchmark for Universal Evaluation [79.25065218663458]
  我々は,UniversaL Evaluation(MARBLE)のための音楽音響表現ベンチマークを紹介する。 音響、パフォーマンス、スコア、ハイレベルな記述を含む4つの階層レベルを持つ包括的分類を定義することで、様々な音楽情報検索(MIR)タスクのベンチマークを提供することを目的としている。 次に、8つの公開データセット上の14のタスクに基づいて統一されたプロトコルを構築し、ベースラインとして音楽録音で開発されたすべてのオープンソース事前学習モデルの表現を公平かつ標準的に評価する。
  論文  参考訳（メタデータ） (2023-06-18T12:56:46Z)
• RMSSinger: Realistic-Music-Score based Singing Voice Synthesis [56.51475521778443]
  RMS-SVSは、異なる音符タイプでリアル音楽のスコアを与えられた高品質な歌声を生成することを目的としている。 RMS-SVS方式であるRMSSingerを提案する。 RMSSingerでは,時間を要する音素の持続時間アノテーションと複雑な音素レベルのメルノートアライメントを避けるために,単語レベルのモデリングを導入する。
  論文  参考訳（メタデータ） (2023-05-18T03:57:51Z)
• Flat latent manifolds for music improvisation between human and machine [9.571383193449648]
  相互即興化が新たな体験につながるような環境では,音楽生成アルゴリズムを人間の音楽家に対抗するものとみなす。 学習モデルでは、潜在空間の定量化により新しい音楽系列を生成する。 そこで我々は,音楽実験を通じて提案手法の実証的証拠を提供し,プロのドラマーと対話的なジャムセッションのためのモデルを展開した。
  論文  参考訳（メタデータ） (2022-02-23T09:00:17Z)
• Lets Play Music: Audio-driven Performance Video Generation [58.77609661515749]
  オーディオ駆動型パーパフォーマンスビデオ生成(APVG)という新しいタスクを提案する。 APVGは、特定の音楽オーディオクリップでガイドされた特定の楽器を演奏する人のビデオを合成することを目的としている。
  論文  参考訳（メタデータ） (2020-11-05T03:13:46Z)
• Foley Music: Learning to Generate Music from Videos [115.41099127291216]
  Foley Musicは、楽器を演奏する人々に関するサイレントビデオクリップのために、可愛らしい音楽を合成できるシステムだ。 まず、ビデオから音楽生成に成功するための2つの重要な中間表現、すなわち、ビデオからのボディーキーポイントと、オーディオ録音からのMIDIイベントを識別する。 身体の動きに応じてMIDIイベントシーケンスを正確に予測できるグラフ$-$Transformerフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-21T17:59:06Z)
• Generative Modelling for Controllable Audio Synthesis of Expressive Piano Performance [6.531546527140474]
  ガウス混合変分オートエンコーダ(GM-VAE)に基づく可制御型ニューラルオーディオシンセサイザー そこで本研究では,モデルが音声に対してきめ細かな形態変化を適用可能であることを実証する。
  論文  参考訳（メタデータ） (2020-06-16T12:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。