論文の概要: LK Jam: System Architecture and Implementation of a Real-Time Human-AI Interactive Music Generation System using Role-Aware GRU

• arxiv url: http://arxiv.org/abs/2606.21018v1
• Date: Fri, 19 Jun 2026 01:03:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 08:59:27.238382
• Title: LK Jam: System Architecture and Implementation of a Real-Time Human-AI Interactive Music Generation System using Role-Aware GRU
• Title（参考訳）: LK Jam:ロールアウェアGRUを用いたリアルタイムヒューマンAIインタラクティブ音楽生成システムのシステムアーキテクチャと実装
• Authors: Yakun Liu, Zhiyu Jin, Dong Liu, Hai Luan,
• Abstract要約: LK_Jam(LK_Jam)は、リアルタイム・双方向のヒューマンコンピュータ・インタラクティブ音楽生成システムである。 軽量GRU(Gated Recurrent Unit)と高性能オーディオホストアーキテクチャをベースとしている。
• 参考スコア（独自算出の注目度）: 5.407906676682284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As artificial intelligence advances into the era of Embodied AI, live musical interaction urgently needs to break free from the limitations of offline, unidirectional generation, achieving a "virtual synergy" capable of low-latency, dynamic interplay. To address this, this technical report presents LK_Jam, a real-time, bidirectional human-computer interactive music generation system based on a lightweight Gated Recurrent Unit (GRU) and a high-performance audio host architecture. In the algorithmic representation layer, this system abandons the computationally expensive fixed time-grid. Instead, it constructs a multi-dimensional sparse event stream integrating time-shifts, continuous harmonic embeddings, and role-aware encoding, enabling the model to accurately capture turn-taking logic and micro-timing in a single-step inference. In the engineering implementation layer, this paper builds a strict multithreaded lock-free communication bridge using C++ and the JUCE framework, incorporating the RTNeural inference engine designed specifically for real-time audio. By utilizing compile-time network topology solidification and a zero-allocation (allocation-free) mechanism, the end-to-end overhead of autoregressive decoding is strictly locked at \(O(1)\) complexity, structurally mitigating the risk of audio thread dropouts in DAW plugin environments. Furthermore, this study designs a three-stage progressive training strategy, achieving a leap from basic chord harmonization to expert-level interaction. Preliminary observations and architectural analysis demonstrate that while ensuring musical coherence and interactive role-play, the proposed system successfully challenges extreme real-time engineering constraints, offering a highly robust and deployable technical paradigm for next-generation AI co-performers in live music.
• Abstract（参考訳）: 人工知能がエンボディードAIの時代に入ると、ライブ音楽の相互作用は、オフラインで一方向生成の限界から解放され、低レイテンシでダイナミックな相互作用が可能な「仮想シナジー」を達成する必要がある。 そこで本技術報告では,軽量GRU(Gated Recurrent Unit)と高性能オーディオホストアーキテクチャに基づく,リアルタイム双方向のヒューマンコンピュータ対話型音楽生成システムであるLK_Jamについて述べる。 アルゴリズム表現層において、このシステムは計算コストのかかる固定時間グリッドを放棄する。 代わりに、時間シフト、連続調和埋め込み、ロール認識エンコーディングを統合した多次元スパースイベントストリームを構築し、単一のステップ推論でターンテイクロジックとマイクロチューニングを正確にキャプチャできるようにする。 本稿では,C++とJUCEフレームワークを用いた厳密なマルチスレッド・ロックフリー通信ブリッジを構築し,リアルタイム音声に特化して設計されたRTNeural推論エンジンを組み込んだ。 コンパイル時のネットワークトポロジの固化とゼロアロケーション(アロケーションフリー)機構を利用することで、自動回帰復号の終端オーバーヘッドを(O(1)\)複雑さで厳密にロックし、DAWプラグイン環境におけるオーディオスレッドのドロップアウトのリスクを構造的に軽減する。 さらに,本研究では,基本和音化からエキスパートレベルインタラクションへの跳躍を図り,3段階のプログレッシブトレーニング戦略を設計する。 予備的な観察とアーキテクチャ分析により、音楽のコヒーレンスとインタラクティブなロールプレイを保証する一方で、提案システムは極端なリアルタイムエンジニアリングの制約に挑戦し、ライブ音楽における次世代AIの共同演奏者に対して、非常に堅牢でデプロイ可能な技術的パラダイムを提供することに成功した。

関連論文リスト

• PianoFlow: Music-Aware Streaming Piano Motion Generation with Bimanual Coordination [31.224933689911186]
  バイマニュアルピアノの動作生成には、複雑な音楽構造と動的クロスハンド調整の正確なモデリングが必要である。 ピアノ運動合成の精度とコーディネートのためのフローマッチングフレームワークであるピアノフローを提案する。 提案手法は,MIDIを訓練における特権的モダリティとして戦略的に活用し,これらの構造化音楽の先行音を蒸留することにより,深い意味理解を実現する。
  論文  参考訳（メタデータ） (2026-04-14T15:07:21Z)
• U-Mind: A Unified Framework for Real-Time Multimodal Interaction with Audiovisual Generation [48.6868174403074]
  我々は,高知能マルチモーダル対話のための最初の統一システムであるU-Mindを紹介する。 リアルタイム生成と共同モデル言語、音声、モーション、ビデオ合成をサポートする。 U-Mindは様々なマルチモーダルインタラクションタスクにおいて最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-27T07:07:02Z)
• AsyncVLA: An Asynchronous VLA for Fast and Robust Navigation on the Edge [49.66156306240961]
  高レイテンシは制御ループを壊し、リアルタイムデプロイメントでは安全でない強力なモデルをレンダリングする。 リアクティブ実行からセマンティック推論を分離する非同期制御フレームワークであるAsyncVLAを提案する。 AsyncVLAは、最先端のベースラインよりも40%高い成功率を達成する。
  論文  参考訳（メタデータ） (2026-02-13T21:31:19Z)
• OneLive: Dynamically Unified Generative Framework for Live-Streaming Recommendation [49.95897358060393]
  ライブストリーミングに適した動的に統一された生成レコメンデーションフレームワークであるOneLiveを提案する。 OneLiveは4つの重要なコンポーネントを統合している: (i) (i) (i) (i) (i) (ii) (II) 時間的決定のための時間的ダイナミクスを明示的にモデル化するタイムアウェア・ゲーテッド・アテンション機構; (iii) シーケンシャル MTP と QK Norm で強化された効率的なデコーダのみ生成アーキテクチャ。
  論文  参考訳（メタデータ） (2026-02-09T12:56:39Z)
• SAMUeL: Efficient Vocal-Conditioned Music Generation via Soft Alignment Attention and Latent Diffusion [0.0]
  声調伴奏生成のための軽量潜時拡散モデルを提案する。 このモデルは、52倍高速な推論を実現しつつ、最先端システムと比較して220倍のパラメータ削減を実現している。 超軽量アーキテクチャは、コンシューマハードウェアへのリアルタイムデプロイメントを可能にし、対話型アプリケーションやリソース制約のある環境に対してAI支援音楽の作成を可能にする。
  論文  参考訳（メタデータ） (2025-07-26T16:00:26Z)
• ReCoM: Realistic Co-Speech Motion Generation with Recurrent Embedded Transformer [58.49950218437718]
  音声に同期した高忠実で一般化可能な人体動作を生成するための効率的なフレームワークであるReCoMを提案する。 Recurrent Embedded Transformer (RET)は、動的埋め込み正規化(DER)をViT(Vit)コアアーキテクチャに統合する。 モデルロバスト性を高めるため,ノイズ抵抗とクロスドメイン一般化の二重性を持つモデルに,提案したDER戦略を取り入れた。
  論文  参考訳（メタデータ） (2025-03-27T16:39:40Z)
• Asynchronous Tool Usage for Real-Time Agents [61.3041983544042]
  並列処理とリアルタイムツール利用が可能な非同期AIエージェントを導入する。 私たちの重要な貢献は、エージェントの実行とプロンプトのためのイベント駆動有限状態マシンアーキテクチャです。 この研究は、流体とマルチタスクの相互作用が可能なAIエージェントを作成するための概念的なフレームワークと実践的なツールの両方を提示している。
  論文  参考訳（メタデータ） (2024-10-28T23:57:19Z)
• Temporal-Spatial Neural Filter: Direction Informed End-to-End Multi-channel Target Speech Separation [66.46123655365113]
  ターゲット音声分離とは、混合信号からターゲット話者の音声を抽出することを指す。 主な課題は、複雑な音響環境とリアルタイム処理の要件である。 複数話者混合から対象音声波形を直接推定する時間空間ニューラルフィルタを提案する。
  論文  参考訳（メタデータ） (2020-01-02T11:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。