論文の概要: ReaLJam: Real-Time Human-AI Music Jamming with Reinforcement Learning-Tuned Transformers

• arxiv url: http://arxiv.org/abs/2502.21267v1
• Date: Fri, 28 Feb 2025 17:42:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:40:58.774774
• Title: ReaLJam: Real-Time Human-AI Music Jamming with Reinforcement Learning-Tuned Transformers
• Title（参考訳）: ReaLJam:Reinforcement Learning-Tuned Transformerを用いたリアルタイムヒューマンAI音楽ジャミング
• Authors: Alexander Scarlatos, Yusong Wu, Ian Simon, Adam Roberts, Tim Cooijmans, Natasha Jaques, Cassie Tarakajian, Cheng-Zhi Anna Huang,
• Abstract要約: ReaLJamは、人間とトランスフォーマーをベースとしたAIエージェントが強化学習でトレーニングしたライブ音楽ジャミングセッションのためのインタフェースとプロトコルである。 エージェントが継続的にパフォーマンスを予測し,ユーザに対してその計画を視覚的に伝達する,予測という概念を用いてリアルタイムインタラクションを可能にする。
• 参考スコア（独自算出の注目度）: 53.63950017886757
• License:
• Abstract: Recent advances in generative artificial intelligence (AI) have created models capable of high-quality musical content generation. However, little consideration is given to how to use these models for real-time or cooperative jamming musical applications because of crucial required features: low latency, the ability to communicate planned actions, and the ability to adapt to user input in real-time. To support these needs, we introduce ReaLJam, an interface and protocol for live musical jamming sessions between a human and a Transformer-based AI agent trained with reinforcement learning. We enable real-time interactions using the concept of anticipation, where the agent continually predicts how the performance will unfold and visually conveys its plan to the user. We conduct a user study where experienced musicians jam in real-time with the agent through ReaLJam. Our results demonstrate that ReaLJam enables enjoyable and musically interesting sessions, and we uncover important takeaways for future work.
• Abstract（参考訳）: 生成人工知能(AI)の最近の進歩は、高品質な音楽コンテンツ生成が可能なモデルを生み出している。 しかし、低レイテンシ、計画されたアクションを伝達する能力、ユーザの入力にリアルタイムで適応する能力といった重要な機能のために、これらのモデルをリアルタイムまたは協調的な音楽アプリケーションにどのように使うかはほとんど考慮されていない。 これらのニーズに対応するために、強化学習で訓練された人間とトランスフォーマーベースのAIエージェントの間のライブ音楽ジャミングセッションのためのインタフェースとプロトコルであるReaLJamを紹介する。 エージェントが継続的にパフォーマンスを予測し,ユーザに対してその計画を視覚的に伝達する,予測という概念を用いてリアルタイムインタラクションを可能にする。 経験豊富なミュージシャンがReaLJamを通じてエージェントとリアルタイムでジャムするユーザスタディを行う。 以上の結果から,ReaLJamは楽しく,音楽的にも興味深いセッションを可能にし,今後の課題を明らかにすることができる。

関連論文リスト

• Music Generation using Human-In-The-Loop Reinforcement Learning [0.0]
  本稿では,Human-In-The-Loop Reinforcement Learning (HITL RL) と音楽理論から派生した原理を組み合わせた楽曲のリアルタイム生成手法を提案する。
  論文  参考訳（メタデータ） (2025-01-25T19:01:51Z)
• Musical Agent Systems: MACAT and MACataRT [6.349140286855134]
  我々は,人間ミュージシャンとAIの対話的音楽制作を促進するために,MACATとMACataRTという2つの異なる音楽エージェントシステムを紹介した。 MaCATはエージェント主導のパフォーマンスに最適化されており、リアルタイム合成と自己リスニングを利用して出力を自律的に形作る。 MacataRTは、音声モザイクとシーケンスベースの学習を通じて協調的な即興性を実現するフレキシブルな環境を提供する。
  論文  参考訳（メタデータ） (2025-01-19T22:04:09Z)
• MuPT: A Generative Symbolic Music Pretrained Transformer [56.09299510129221]
  音楽の事前学習におけるLarge Language Models (LLM) の適用について検討する。 生成過程の異なるトラックからの不整合対策に関連する課題に対処するために,SMT-ABC Notation(Synchronized Multi-Track ABC Notation)を提案する。 私たちのコントリビューションには、最大8192個のトークンを処理可能な一連のモデルが含まれており、トレーニングセットの象徴的な音楽データの90%をカバーしています。
  論文  参考訳（メタデータ） (2024-04-09T15:35:52Z)
• MusicRL: Aligning Music Generation to Human Preferences [62.44903326718772]
  MusicRLは人間のフィードバックによって微調整された最初の音楽生成システムである。 ユーザに対してMusicLMをデプロイし,30,000対の選好からなる実質的なデータセットを収集する。 人間のフィードバックを大規模に組み込んだ最初のテキスト-音楽モデルであるMusicRL-Uを訓練する。
  論文  参考訳（メタデータ） (2024-02-06T18:36:52Z)
• Improving Multimodal Interactive Agents with Reinforcement Learning from Human Feedback [16.268581985382433]
  人工知能の重要な目標は、人間と自然に対話し、フィードバックから学ぶことができるエージェントを作ることである。 ここでは、人間のフィードバックから強化学習を用いて、シミュレーションされたエンボディエージェントを改善する方法を紹介する。
  論文  参考訳（メタデータ） (2022-11-21T16:00:31Z)
• Flat latent manifolds for music improvisation between human and machine [9.571383193449648]
  相互即興化が新たな体験につながるような環境では,音楽生成アルゴリズムを人間の音楽家に対抗するものとみなす。 学習モデルでは、潜在空間の定量化により新しい音楽系列を生成する。 そこで我々は,音楽実験を通じて提案手法の実証的証拠を提供し,プロのドラマーと対話的なジャムセッションのためのモデルを展開した。
  論文  参考訳（メタデータ） (2022-02-23T09:00:17Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
  時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。 Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-02-24T21:12:09Z)
• Towards Social & Engaging Peer Learning: Predicting Backchanneling and Disengagement in Children [10.312968200748116]
  社会ロボットと対話型コンピュータアプリケーションは、ピアラーニング仲間として振る舞うことで、幼児の早期言語発達を促進する可能性がある。 我々は、リスナーが注意を失うかどうかを予測するためのモデルを開発する(リスナー拡張予測, LDP)。 実験の結果, 瞳孔拡張, 瞬き速度, 頭部運動, 顔面動作単位など, これまでに使用したことのない多モード機能の有用性が示された。
  論文  参考訳（メタデータ） (2020-07-22T11:16:42Z)
• RL-Duet: Online Music Accompaniment Generation Using Deep Reinforcement Learning [69.20460466735852]
  本稿では,オンライン伴奏生成のための深層強化学習アルゴリズムを提案する。 提案アルゴリズムは人体に応答し,メロディック,ハーモニック,多種多様な機械部品を生成する。
  論文  参考訳（メタデータ） (2020-02-08T03:53:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。