論文の概要: Pose-Aware Multimodal Automatic Tagging for Greek Traditional Music

• arxiv url: http://arxiv.org/abs/2609.27094v1
• Date: Tue, 22 Sep 2026 21:53:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.782166
• Title: Pose-Aware Multimodal Automatic Tagging for Greek Traditional Music
• Title（参考訳）: ギリシャ伝統音楽のためのポーズ対応マルチモーダル自動タグ
• Abstract要約: 本研究では, ダンサーポーズの使用が, 音声以外のギリシャ伝統音楽の自動タグ付けに補完的な情報を提供するかどうかを考察する。 舞踊映像から一次ダンサー骨格配列を抽出する自動パイプラインを提案する。 複数の融合戦略を用いて、一様系、全双モード結合系、および三次系を比較した。
• 参考スコア（独自算出の注目度）: 81.96990106395953
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic tagging is a core task in Music Information Retrieval (MIR), yet most tagging systems exploit only audio. Live music performance is inherently multimodal, as semantic labels such as instruments, regional styles, and dance forms are encoded simultaneously across acoustic, visual, and embodied performance cues. This is especially true of culturally specific repertoires such as Greek traditional music, which remain underrepresented in MIR benchmarks. In this paper, we investigate whether the use of dancer pose provides complementary information for automatic tagging in Greek traditional music beyond audio. Using the Lyra dataset, we extend prior audio-only work by extracting aligned video features and pose-derived skeleton streams, enabling an experimental setting for multimodal auto-tagging. We further introduce an automated pipeline for extracting primary-dancer skeleton sequences from in-the-wild dance footage, combining dance-scene detection, multi-person tracking, dancer selection, pose estimation, and quality filtering. We compare unimodal, all bimodal combinations, and trimodal systems using multiple fusion strategies. Audio remains the strongest single modality (AST: macro ROC-AUC 0.821), while skeletons, though weak in isolation, enhance performance through multimodal fusion. The best trimodal system improves macro ROC-AUC by about 4 percentage points over the strongest audio baseline.
• Abstract（参考訳）: 自動タグ付けは音楽情報検索(MIR)の中核的なタスクであるが、ほとんどのタグ付けシステムは音声のみを利用する。 ライブ音楽のパフォーマンスは本質的にマルチモーダルであり、楽器、地域スタイル、ダンスフォームなどのセマンティックなラベルは、音響的、視覚的、具体的パフォーマンスのキューで同時に符号化される。 これは特に、ギリシャの伝統的な音楽のような文化的に特定のレパートリーに当てはまる。 本稿では,音楽以外のギリシャの伝統音楽のタグ付けに,ダンサーポーズの使用が補完的な情報を提供するかどうかを考察する。 Lyraデータセットを用いて、アライメントされたビデオ特徴とポーズ由来のスケルトンストリームを抽出することにより、事前の音声のみの作業を拡張し、マルチモーダルな自動タグ付けの実験的な設定を可能にする。 さらに,ダンスシーン検出,複数人物追跡,ダンサー選択,ポーズ推定,品質フィルタリングを併用して,ダンス映像から一次ダンサーの骨格配列を抽出するパイプラインについても紹介する。 複数の融合戦略を用いて、一様系、全双モード結合系、および三次系を比較した。 オーディオは依然として最強の単一モダリティ(AST: macro ROC-AUC 0.821)であり、スケルトンは孤立性は弱いものの、マルチモーダル融合により性能を高める。 最高のトリモーダルシステムは、最強のオーディオベースラインに対して、マクロROC-AUCを約4%改善する。

関連論文リスト

• FIGMA: Towards FIne-Grained Music retrievAl [65.98380295254817]
  自然言語記述による音楽の検索はCLAPのような対照的な音声テキストモデルで改善されているが、現在のシステムはいまだに大まかなセマンティッククエリに限られている。 この制限は、長いキャプションで訓練されているにもかかわらず、CLAPベースのモデルは、最初の数個のトークンのみを効果的に活用する。 本研究では,グローバルな音声テキストアライメントとフレームレベルのトークンアライメントを共同で最適化することで,この制限に対処するマルチビューコントラストアーキテクチャであるFIGMAを提案する。
  論文  参考訳（メタデータ） (2026-06-04T18:05:39Z)
• Revisiting Content-Based Music Recommendation: Efficient Feature Aggregation from Large-Scale Music Models [54.4270504928356]
  Music Recommendation Systems (MRS)は、現代のストリーミングプラットフォームの基盤である。 我々は,音楽レコメンデーションにおけるマルチモーダル情報の役割を強調するために,総合的なデータセットとベンチマークフレームワークであるTASTEを提案する。 近年の大規模自己監督型音楽エンコーダの活用により,レコメンデーションタスク間で抽出された音声表現の意義を実証する。
  論文  参考訳（メタデータ） (2026-02-10T15:24:41Z)
• Listen to Rhythm, Choose Movements: Autoregressive Multimodal Dance Generation via Diffusion and Mamba with Decoupled Dance Dataset [8.721362823189077]
  Rhythm, Choose Movements (LRCM) は多様な入力モダリティと自己回帰ダンスモーション生成の両方をサポートする多モード誘導拡散フレームワークである。 受け入れ次第、完全なデータセットと事前トレーニングされたモデルを公開します。
  論文  参考訳（メタデータ） (2026-01-06T14:59:22Z)
• SAM Audio: Segment Anything in Audio [55.50609519820557]
  一般的なオーディオソース分離は、マルチモーダルAIシステムにとって重要な機能である。 本稿では,一般的な音声分離のための基礎モデルであるSAM Audioを紹介する。 テキスト、ビジュアル、タイムスパンを単一のフレームワーク内で統合する。
  論文  参考訳（メタデータ） (2025-12-19T22:14:23Z)
• Unified Cross-modal Translation of Score Images, Symbolic Music, and Performance Audio [7.518711227993383]
  我々は、多くの翻訳タスクで汎用モデルを同時に訓練する。 本稿では,新しい大規模データセットと各モダリティのトークン化を提案する。 提案手法は,最初の楽譜条件付き音声生成を実現する。
  論文  参考訳（メタデータ） (2025-05-19T08:46:45Z)
• Learning Musical Representations for Music Performance Question Answering [10.912207282129753]
  マルチモーダル学習法は音楽演奏の基本的問題に対処できない。 私たちのメインのバックボーンは、音楽データのコンテキストにマルチモーダルインタラクションを組み込むように設計されています。 本実験は,音楽AVQAデータセットに対する最先端効果を示す。
  論文  参考訳（メタデータ） (2025-02-10T17:41:57Z)
• Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
  D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。 提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2022-04-01T17:53:39Z)
• Codified audio language modeling learns useful representations for music information retrieval [77.63657430536593]
  符号化された(不明瞭に符号化された)オーディオ学習表現に基づいて事前学習された言語モデルは、下流のMIRタスクに有用であることを示す。 Jukeboxの表現にMIRの有用な情報が含まれているかどうかを判断するために、入力機能として使用し、いくつかのMIRタスクで浅いモデルを訓練する。 従来の手法では,Jukeboxの表現はタグ付けによる事前学習モデルよりもかなり強く,符号化された音声言語モデリングによる事前学習は盲点に対処する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-07-12T18:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。