論文の概要: CrowdForge: Effects of Audio and Visual Audience Participation Modalities on Agency, Collaboration, and Engagement in AI-Mediated MR Performances

• arxiv url: http://arxiv.org/abs/2611.03389v1
• Date: Mon, 02 Nov 2026 16:28:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 04:50:26.841216
• Title: CrowdForge: Effects of Audio and Visual Audience Participation Modalities on Agency, Collaboration, and Engagement in AI-Mediated MR Performances
• Title（参考訳）: CrowdForge:AIを用いたMR演奏におけるオーディエンスと視覚的参加モダリティがエージェンシー,コラボレーション,エンゲージメントに及ぼす影響
• Abstract要約: 我々は、観客が生成音楽や仮想環境をまとめて制御する、AIおよびMRを用いたパラダイムであるCrowdForgeを紹介する。 オブザーバビリティがオーディエンスエージェンシーの主要因であることを実証する。 将来的なTMAPシステムは、人中心で観測可能な相互作用を優先して構築するべきだ、と私たちは主張する。
• 参考スコア（独自算出の注目度）: 1.3364452807624252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Technology-mediated audience participation (TMAP) enables audiences to influence live performances, yet balancing interaction with meaningful agency remains challenging. While AI-generated music and MR enable new forms of audio and visual audience participation, little is known about how these participation modalities influence audience experiences during live musical performance. In particular, it remains unclear how they shape perceived agency, collaboration, and engagement, and how they complement one another within TMAP systems. We present CrowdForge, an AI- and MR-mediated paradigm where audiences collectively control generative music and virtual environments during a live performance featuring a guitarist and DJ. Through a mixedmethods concert study evaluating three interaction conditions (audio, visual, and combined audio-visual), we demonstrate that observability is the primary driver of audience agency. While visual interaction provided easily observable feedback, audio parameters offered macro-structural control over the music. Audiences tended to use the control enabled by AI audio generation to test musical boundaries, introducing a productive adversarial tension between the crowd and the musicians. This dynamic pushed creative limits, deepened engagement, and generated moments of musical coherence when performers successfully resolved audience-induced challenges. We argue future TMAP systems should prioritize human-centered, highly observable interactions to build agency, while combining the expressiveness of music with the clarity of visual feedback.
• Abstract（参考訳）: テクノロジーを活用した観客参加(TMAP)により、観客はライブパフォーマンスに影響を与えることができるが、意味のある機関との相互作用のバランスは依然として困難である。 AIが生成した音楽とMRは、新しい形態のオーディオと視覚的オーディエンスへの参加を可能にするが、これらの参加がライブ音楽演奏におけるオーディエンス体験に与える影響についてはほとんど分かっていない。 特に、それらがどのように認識されたエージェンシー、コラボレーション、エンゲージメントを形作るのか、TMAPシステム内でどのように相互に補完するかは、まだ不明である。 本稿では,ギタリストとDJが参加するライブパフォーマンスにおいて,観客が生成音楽と仮想環境をまとめて制御する,AIとMRを用いたパラダイムであるCrowdForgeを紹介する。 3つの相互作用条件(音声,視覚,複合視覚)を評価する混合メソドス・コンサート研究を通じて,オブザーバビリティがオーディエンス・エージェンシーの主要因であることを実証した。 視覚的相互作用は容易に観測可能なフィードバックを提供する一方で、オーディオパラメータは音楽に対するマクロ構造制御を提供する。 聴衆は、AIオーディオ生成によって可能になったコントロールを使って音楽境界をテストする傾向があり、観客とミュージシャンの間に生産的な対立関係が生じた。 このダイナミックな動きは、クリエイティブな限界を押し上げ、エンゲージメントを深め、パフォーマーが観客が引き起こした課題をうまく解決した時に、音楽的一貫性の瞬間を生み出した。 将来のTMAPシステムは、音楽の表現力と視覚的フィードバックの明快さを両立させながら、人中心の高可観測性なインタラクションを優先すべきである、と我々は主張する。

関連論文リスト

• InterSing: Explicit Interaction Dynamics for 3D Duet Singing Animation and Beyond [56.764269093059504]
  InterSingは、デュエット歌唱パフォーマンスのためのリアルな3Dヘッドアニメーションを生成するためのフレームワークである。 InterSingは、既存の方法よりもコーディネーションと音楽アライメントの強い、現実的で表現力のある歌唱ヘッドアニメーションを生成する。
  論文  参考訳（メタデータ） (2026-09-04T09:02:52Z)
• Co-policy: Responsive Human-Robot Co-Creation for Musical Performances [58.92814200971293]
  Co-policyは、人間とロボットの共創のためのフレームワークである。 意味的意図の接地、制約のある音楽的変化、そしてビズーモータ実行を分離する。 拡散ポリティクスおよびアブレーションベースラインよりも,意図整合性,実行精度,応答周波数が向上した。
  論文  参考訳（メタデータ） (2026-06-18T08:08:16Z)
• The Ghost in the Keys: A Disklavier Demo for Human-AI Musical Co-Creativity [59.78509280246215]
  Aria-Duetは、人間のピアニストと最先端のジェネレーティブモデルであるAriaのリアルタイム音楽デュエットを容易にするインタラクティブシステムである。 音楽学的な観点からシステムのアウトプットを分析し,そのモデルがスタイリスティックなセマンティクスを維持でき,コヒーレントなフレーズのアイデアを発達させることができることを発見した。
  論文  参考訳（メタデータ） (2025-11-03T15:26:01Z)
• Reimagining Dance: Real-time Music Co-creation between Dancers and AI [5.708964539699851]
  本研究では,ダンサーが動きによって動的に音楽環境を形成できるシステムを提案する。 我々のマルチモーダルアーキテクチャは、ダンスの動きに応じて、事前に録音された音楽クリップをインテリジェントに組み合わせることで、コヒーレントな音楽構成を生成する。
  論文  参考訳（メタデータ） (2025-06-13T17:56:53Z)
• A Real-Time Gesture-Based Control Framework [2.432598153985671]
  そこで我々は,リアルタイム・ヒューマン・イン・ザ・ループ・ジェスチャ・コントロール・フレームワークを提案する。 人間の動きに基づいて、オーディオと音楽を動的に適応させることができる。 システムはライブパフォーマンス、インタラクティブなインストール、個人利用のために設計されている。
  論文  参考訳（メタデータ） (2025-04-28T03:57:28Z)
• Extending Visual Dynamics for Video-to-Music Generation [51.274561293909926]
  DyViMは、ビデオから音楽への生成のための動的モデリングを強化する新しいフレームワークである。 高レベルのセマンティクスは、クロスアテンションメカニズムを通じて伝達される。 実験では、DyViMが最先端(SOTA)法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2025-04-10T09:47:26Z)
• ReaLJam: Real-Time Human-AI Music Jamming with Reinforcement Learning-Tuned Transformers [53.63950017886757]
  ReaLJamは、人間とトランスフォーマーをベースとしたAIエージェントが強化学習でトレーニングしたライブ音楽ジャミングセッションのためのインタフェースとプロトコルである。 エージェントが継続的にパフォーマンスを予測し,ユーザに対してその計画を視覚的に伝達する,予測という概念を用いてリアルタイムインタラクションを可能にする。
  論文  参考訳（メタデータ） (2025-02-28T17:42:58Z)
• Musical Agent Systems: MACAT and MACataRT [6.349140286855134]
  我々は,人間ミュージシャンとAIの対話的音楽制作を促進するために,MACATとMACataRTという2つの異なる音楽エージェントシステムを紹介した。 MaCATはエージェント主導のパフォーマンスに最適化されており、リアルタイム合成と自己リスニングを利用して出力を自律的に形作る。 MacataRTは、音声モザイクとシーケンスベースの学習を通じて協調的な即興性を実現するフレキシブルな環境を提供する。
  論文  参考訳（メタデータ） (2025-01-19T22:04:09Z)
• MuVi: Video-to-Music Generation with Semantic Alignment and Rhythmic Synchronization [52.498942604622165]
  本稿では,ビデオコンテンツに合わせた音楽を生成するためのフレームワークであるMuViについて述べる。 MuViは、特別に設計された視覚適応器を通じて映像コンテンツを分析し、文脈的および時間的に関係のある特徴を抽出する。 音声品質と時間同期の両方において, MuVi が優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2024-10-16T18:44:56Z)
• Expressive Communication: A Common Framework for Evaluating Developments in Generative Models and Steering Interfaces [1.2891210250935146]
  本研究では,モデルとユーザインタフェースの両面における開発が,共同創造の促進にいかに重要であるかを検討する。 作曲者26人が100曲以上を作曲し、聴取者が1000曲以上を頭と頭で比較した結果、より表現力のあるモデルとよりステアブルなインターフェースが重要であることが判明した。
  論文  参考訳（メタデータ） (2021-11-29T20:57:55Z)
• Look, Listen, and Attend: Co-Attention Network for Self-Supervised Audio-Visual Representation Learning [17.6311804187027]
  音声と視覚イベントの相関関係は、ニューラルネットワークをトレーニングするための自由教師付き情報として利用することができる。 本稿では,非競合ビデオから汎用的なクロスモーダル表現を学習するためのコアテンション機構を備えた,新しい自己教師型フレームワークを提案する。 実験の結果,従来の手法に比べてパラメータが少なめでありながら,プレテキストタスク上での最先端性能が得られた。
  論文  参考訳（メタデータ） (2020-08-13T10:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。