論文の概要: Late multimodal fusion for image and audio music transcription

• arxiv url: http://arxiv.org/abs/2204.03063v1
• Date: Wed, 6 Apr 2022 20:00:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 15:57:01.785073
• Title: Late multimodal fusion for image and audio music transcription
• Title（参考訳）: 画像と音声の書き起こしのための後期マルチモーダル融合
• Authors: Mar\'ia Alfaro-Contreras (1), Jose J. Valero-Mas (1), Jos\'e M. I\~nesta (1) and Jorge Calvo-Zaragoza (1) ((1) Instituto Universitario de Investigaci\'on Inform\'atica, University of Alicante, Alicante, Spain)
• Abstract要約: マルチモーダル画像とオーディオ音楽の書き起こしは、画像とオーディオのモダリティによって伝達される情報を効果的に組み合わせるという課題を含む。 エンドツーエンドのOMRシステムとAMTシステムに関する仮説を,初めてマージするために,4つの組み合わせのアプローチについて検討した。 4つの戦略のうちの2つは、対応する単調な標準認識フレームワークを著しく改善することを検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Music transcription, which deals with the conversion of music sources into a structured digital format, is a key problem for Music Information Retrieval (MIR). When addressing this challenge in computational terms, the MIR community follows two lines of research: music documents, which is the case of Optical Music Recognition (OMR), or audio recordings, which is the case of Automatic Music Transcription (AMT). The different nature of the aforementioned input data has conditioned these fields to develop modality-specific frameworks. However, their recent definition in terms of sequence labeling tasks leads to a common output representation, which enables research on a combined paradigm. In this respect, multimodal image and audio music transcription comprises the challenge of effectively combining the information conveyed by image and audio modalities. In this work, we explore this question at a late-fusion level: we study four combination approaches in order to merge, for the first time, the hypotheses regarding end-to-end OMR and AMT systems in a lattice-based search space. The results obtained for a series of performance scenarios -- in which the corresponding single-modality models yield different error rates -- showed interesting benefits of these approaches. In addition, two of the four strategies considered significantly improve the corresponding unimodal standard recognition frameworks.
• Abstract（参考訳）: 音楽情報検索 (MIR) の鍵となる課題は,音楽ソースを構造化されたデジタルフォーマットに変換する楽曲の書き起こしである。 計算用語でこの課題に取り組む際、mirコミュニティは、光学的音楽認識(omr)の例である音楽文書と、自動音楽転写(amt)の例である音声記録の2つの研究行に従っている。 上記の入力データの異なる性質は、これらの分野にモダリティ固有のフレームワークを開発するよう条件付けしている。 しかし、シーケンスラベリングタスクの観点からの最近の定義は共通の出力表現につながり、組み合わせパラダイムの研究を可能にしている。 この点において、マルチモーダル画像とオーディオ音楽の書き起こしは、画像と音声のモダリティによって伝達される情報を効果的に結合する課題を含む。 本研究では,格子型検索空間におけるエンドツーエンドのOMRとATTシステムに関する仮説を,初めて統合するための4つの組み合わせのアプローチについて検討する。 対応するシングルモダリティモデルが異なるエラー率をもたらす一連のパフォーマンスシナリオで得られた結果は、これらのアプローチの興味深い利点を示しました。 さらに、4つの戦略のうち2つは、対応する一助標準認識フレームワークを著しく改善した。

関連論文リスト

• End-to-End Full-Page Optical Music Recognition for Pianoform Sheet Music [12.779526750915707]
  我々は、ページレベルの光音楽認識のための、真にエンドツーエンドなアプローチを初めて提示する。 本システムでは,音楽スコアページ全体を処理し,完全書き起こしを楽曲エンコーディング形式で出力する。 その結果,本システムは,全ページの楽譜の書き起こしに成功しただけでなく,ゼロショット設定とターゲットドメインとの微調整の両面において,商業ツールよりも優れていた。
  論文  参考訳（メタデータ） (2024-05-20T15:21:48Z)
• Sheet Music Transformer: End-To-End Optical Music Recognition Beyond Monophonic Transcription [13.960714900433269]
  Sheet Music Transformer(シート・ミュージック・トランスフォーマー)は、モノフォニック・ストラテジーのみに頼らずに複雑な楽譜を転写するために設計された最初のエンドツーエンドのOMRモデルである。 我々のモデルは2つのポリフォニック音楽データセットでテストされており、これらの複雑な音楽構造を効果的に扱えることが証明されている。
  論文  参考訳（メタデータ） (2024-02-12T11:52:21Z)
• Cross-Modal Multi-Tasking for Speech-to-Text Translation via Hard Parameter Sharing [72.56219471145232]
  ハードパラメータ共有を伴うST/MTマルチタスクフレームワークを提案する。 本手法は,事前処理による音声文のモダリティギャップを低減する。 我々は,注意エンコーダ・デコーダ,コネクショニスト時間分類(CTC),トランスデューサ,共同CTC/アテンションモデルを平均+0.5BLEUで改善することを示す。
  論文  参考訳（メタデータ） (2023-09-27T17:48:14Z)
• Towards Robust and Truly Large-Scale Audio-Sheet Music Retrieval [4.722882736419499]
  クロスモーダル・ディープ・ラーニング(英語版)は、2つの異なるモーダル(オーディオと楽譜)を繋ぐジョイント埋め込み空間を学習するために用いられる。 過去数年間、この領域は着実に改善されてきたが、多くのオープンな問題が依然としてこの手法の大規模採用を妨げている。 実シナリオにおけるロバストで大規模なクロスモーダル音楽検索への道のりの主な課題を同定する。
  論文  参考訳（メタデータ） (2023-09-21T15:11:16Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• Align, Adapt and Inject: Sound-guided Unified Image Generation [50.34667929051005]
  本稿では,音声誘導画像生成,編集,スタイリングのための統合フレームワーク「アライン,アダプティブ,インジェクション(AAI)」を提案する。 本手法は,既存のテキスト・ツー・イメージ(T2I)モデルを用いて,入力音を通常の単語のように音声トークンに適応させる。 提案するAAIは、他のテキストや音声誘導方式よりも優れています。
  論文  参考訳（メタデータ） (2023-06-20T12:50:49Z)
• Zorro: the masked multimodal transformer [68.99684436029884]
  ゾロ(Zorro)は、トランスフォーマー内の各モードからの入力をどのようにルーティングするかを制御するためにマスクを使用するテクニックである。 対照的な事前学習により、Zorroはマルチモーダルタスクの最も関連性の高いベンチマークで最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-01-23T17:51:39Z)
• An Empirical Evaluation of End-to-End Polyphonic Optical Music Recognition [24.377724078096144]
  ピアノと管弦楽の楽譜は多音節をしばしば示しており、これはその課題に第2の次元を付け加えている。 終端ポリフォニックOMRの2つの新しい定式化法を提案する。 我々は,マルチシーケンス検出デコーダであるRNNDecoderを用いて,新しい最先端性能を観察する。
  論文  参考訳（メタデータ） (2021-08-03T22:04:40Z)
• A framework to compare music generative models using automatic evaluation metrics extended to rhythm [69.2737664640826]
  本稿では,前回の研究で提示された,リズムを考慮せず,設計決定を下すための枠組みを取り上げ,単音素音楽作成における2つのrnnメモリセルの性能評価のためにリズムサポートを付加した。 モデルでは,音素変換の処理を考慮し,リズムサポートを付加した幾何学に基づく自動計測値を用いて,生成した楽曲の質を評価する。
  論文  参考訳（メタデータ） (2021-01-19T15:04:46Z)
• Optical Music Recognition: State of the Art and Major Challenges [0.0]
  光音楽認識(OMR)は、楽譜を機械可読形式に変換することを目的としている。 書き起こされたコピーは、ミュージシャンが楽譜の写真を撮って作曲、演奏、編集を行えるようにする。 近年,従来のコンピュータビジョン技術から深層学習手法への移行が進んでいる。
  論文  参考訳（メタデータ） (2020-06-14T12:40:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。