論文の概要: MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark

• arxiv url: http://arxiv.org/abs/2410.19168v1
• Date: Thu, 24 Oct 2024 21:20:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:37:41.707264
• Title: MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark
• Title（参考訳）: MMAU: 大規模マルチタスクオーディオ理解と推論ベンチマーク
• Authors: S Sakshi, Utkarsh Tyagi, Sonal Kumar, Ashish Seth, Ramaneswaran Selvakumar, Oriol Nieto, Ramani Duraiswami, Sreyan Ghosh, Dinesh Manocha,
• Abstract要約: MMAUは、人間の注釈付き自然言語の質問と回答とを合わせた、注意深く編集された10kのオーディオクリップで構成されている。 これには、情報抽出と推論の質問が含まれており、モデルは、ユニークで困難なタスクにまたがる27の異なるスキルを実証する必要がある。 我々は18のオープンソースおよびプロプライエタリなAudio-Language Modelを評価し、MMAUがもたらす重大な課題を実証した。
• 参考スコア（独自算出の注目度）: 44.672035866509624
• License:
• Abstract: The ability to comprehend audio--which includes speech, non-speech sounds, and music--is crucial for AI agents to interact effectively with the world. We present MMAU, a novel benchmark designed to evaluate multimodal audio understanding models on tasks requiring expert-level knowledge and complex reasoning. MMAU comprises 10k carefully curated audio clips paired with human-annotated natural language questions and answers spanning speech, environmental sounds, and music. It includes information extraction and reasoning questions, requiring models to demonstrate 27 distinct skills across unique and challenging tasks. Unlike existing benchmarks, MMAU emphasizes advanced perception and reasoning with domain-specific knowledge, challenging models to tackle tasks akin to those faced by experts. We assess 18 open-source and proprietary (Large) Audio-Language Models, demonstrating the significant challenges posed by MMAU. Notably, even the most advanced Gemini Pro v1.5 achieves only 52.97% accuracy, and the state-of-the-art open-source Qwen2-Audio achieves only 52.50%, highlighting considerable room for improvement. We believe MMAU will drive the audio and multimodal research community to develop more advanced audio understanding models capable of solving complex audio tasks.
• Abstract（参考訳）: 音声 - 音声、非音声、音楽を含む - を理解する能力は、AIエージェントが世界と効果的に対話することが不可欠である。 我々は,専門家レベルの知識と複雑な推論を必要とするタスクにおいて,マルチモーダル音声理解モデルを評価するために設計された新しいベンチマークであるMMAUを提案する。 MMAUは、人間の注釈を付けた自然言語の質問と、音声、環境音、音楽にまたがる回答とを合わせた、注意深く編集された10kのオーディオクリップで構成されている。 これには、情報抽出と推論の質問が含まれており、モデルは、ユニークで困難なタスクにまたがる27の異なるスキルを実証する必要がある。 既存のベンチマークとは異なり、MMAUは高度な認識と推論をドメイン固有の知識で強調し、専門家が直面している課題に対処するモデルに挑戦する。 我々は18のオープンソースおよびプロプライエタリなAudio-Language Modelを評価し、MMAUがもたらす重大な課題を実証した。 特に、最も先進的なGemini Pro v1.5でさえ52.97%の精度しか達成せず、最先端のオープンソースであるQwen2-Audioは52.50%しか達成していない。 我々は,MMAUが音声・マルチモーダル研究コミュニティを推進し,複雑な音声タスクを解くことのできる,より高度な音声理解モデルを開発すると信じている。

関連論文リスト

• Enhancing Temporal Understanding in Audio Question Answering for Large Audio Language Models [0.9285295512807729]
  大規模音声言語モデルの出現により,音声質問応答が注目されている。 LALMは一般的な音声理解では優れているが、時間的推論では限られている。 本稿では,音声時間的推論におけるこれらの課題と限界について述べる。
  論文  参考訳（メタデータ） (2024-09-10T05:26:53Z)
• GAMA: A Large Audio-Language Model with Advanced Audio Understanding and Complex Reasoning Abilities [43.23351906406144]
  高度な音声理解と複雑な推論能力を備えた汎用大規模音声言語モデル(LALM) GAMAは、カスタムオーディオQ-Formerの機能を含む複数の種類の音声表現とLLMを統合して構築する。 GAMAを大規模オーディオ言語データセットで微調整し、音声理解機能で拡張します。
  論文  参考訳（メタデータ） (2024-06-17T17:31:01Z)
• AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension [95.8442896569132]
  AIR-Benchは,Large Audio-Language Models (LALM) の様々な種類の音声信号を理解し,テキスト形式で人間と対話する能力を評価する最初のベンチマークである。 その結果, GPT-4による評価と人間による評価との間には高い一貫性が認められた。
  論文  参考訳（メタデータ） (2024-02-12T15:41:22Z)
• Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models [98.34889301515412]
  我々はQwen-Audioモデルを開発し、30以上のタスクと様々なオーディオタイプをカバーするために、事前学習を拡大することで制限に対処する。 Qwen-Audioは、タスク固有の微調整を必要とせずに、様々なベンチマークタスクで素晴らしいパフォーマンスを実現している。 さらにQwen-Audio-Chatを開発し、様々なオーディオやテキスト入力からの入力を可能にし、マルチターン対話を可能にし、様々なオーディオ中心のシナリオをサポートする。
  論文  参考訳（メタデータ） (2023-11-14T05:34:50Z)
• SALMONN: Towards Generic Hearing Abilities for Large Language Models [24.73033723114979]
  音声音声言語音楽オープンニューラルネットワークSALMONNを提案する。 事前訓練されたテキストベースの大規模言語モデル(LLM)と音声および音声エンコーダを単一のマルチモーダルモデルに統合することによって構築される。 これは、そのタイプの最初のモデルであり、汎用的な聴覚能力を持つAIへのステップと見なすことができる。
  論文  参考訳（メタデータ） (2023-10-20T05:41:57Z)
• AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head [82.69233563811487]
  大規模言語モデル(LLM)は、さまざまな領域やタスクにまたがって顕著な能力を示し、学習と認知の理解に挑戦しています。 本稿では,LLMを基本モデルで補完し,複雑な音声情報を処理するマルチモーダルAIシステムであるAudioGPTを提案する。
  論文  参考訳（メタデータ） (2023-04-25T17:05:38Z)
• MERLOT Reserve: Neural Script Knowledge through Vision and Language and Sound [90.1857707251566]
  MERLOT Reserveは、時間とともに動画を共同で表現するモデルである。 我々は、テキストとオーディオのスニペットをMASKトークンに置き換え、正しいマスクアウトスニペットを選択して学習する。 私たちの目標は代替手段よりも早く学習し、大規模に機能します。
  論文  参考訳（メタデータ） (2022-01-07T19:00:21Z)
• Audio-Oriented Multimodal Machine Comprehension: Task, Dataset and Model [51.42415340921237]
  我々は2つのモード(音声とテキスト)を融合させる動的モダリティ・イントラモダリティ・アテンション(DIIA)モデルを提案する。 さらに,マルチモーダルMCモデルを用いて,テキストや音声のみに基づいて,回答を正確に予測できるマルチモーダル知識蒸留(MKD)モジュールを開発した。
  論文  参考訳（メタデータ） (2021-07-04T08:35:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。