論文の概要: Mizar: A 159M-Parameter Audio-Language Model for Audio Understanding

• arxiv url: http://arxiv.org/abs/2609.28344v1
• Date: Wed, 23 Sep 2026 16:21:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.107515
• Title: Mizar: A 159M-Parameter Audio-Language Model for Audio Understanding
• Title（参考訳）: Mizar:1億5900万Parameterオーディオランゲージモデル
• Abstract要約: Mizarを構築するために、アーキテクチャ、データ、および3段階のトレーニングをまとめるレシピを紹介します。 MMAUは52.92%、MMARは42.42%、ADQAクリーンは36.02%である。 MMAUベンチマークからの質問では、オーディオファイルをオープンしてから完全な回答を生成するまでの平均遅延は1.09秒である。
• 参考スコア（独自算出の注目度）: 14.758953449150262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio-language models (ALMs) integrate acoustic perception with the knowledge encoded in language models, enabling contextual understanding of auditory events. Making these capabilities practical on devices with limited memory and computation motivates our focus on small ALMs with fewer than 200M parameters. We introduce a recipe that brings together architecture, data, and three-stage training to build Mizar, a 159.3M-parameter ALM. Its architecture connects a compact CED-Small audio encoder to SmolLM2-135M through a frequency-merging mapper. With supervision drawn from ReasonAQA, AudioMCQ, and AVQA, the model undergoes three training stages: audio-language alignment (Stage 1), audio-dependent fine-tuning (Stage 2), and post-training (Stage 3) aimed at strengthening weak skills while retaining learned capabilities. Across five random seeds, Mizar achieves mean accuracies of 52.92% on MMAU, 42.42% on MMAR, and 36.02% on ADQA-clean, surpassing the previous best-performing ALM below 200M parameters on all three benchmarks. It also supports local inference on a single CPU: on questions from the MMAU benchmark, the mean latency from opening the audio file to generating a complete answer is 1.09 seconds. Code and checkpoints are available at https://github.com/KaiyangLi1992/Mizar_159M.
• Abstract（参考訳）: 音声言語モデル(ALM)は、言語モデルに符号化された知識と音響知覚を統合し、聴覚事象の文脈的理解を可能にする。 これらの機能をメモリと計算に制限のあるデバイスで実用的なものにすることで、我々は2億のパラメータ未満の小さなALMにフォーカスしています。 我々は159.3MパラメータALMであるMizarを構築するために、アーキテクチャ、データ、および3段階のトレーニングをまとめるレシピを紹介します。 そのアーキテクチャは、小型のCED-Smallオーディオエンコーダを周波数マージマッパーを介してSmolLM2-135Mに接続する。 ReasonAQA、AudioMCQ、AVQAから指導を受けたこのモデルは、学習能力を維持しながら弱いスキルを強化することを目的とした、オーディオ言語アライメント(Stage 1)、オーディオ依存ファインチューニング(Stage2)、ポストトレーニング(Stage3)の3つの訓練段階を実行する。 5つのランダムな種の中で、MMAUでは52.92%、MMARでは42.42%、ADQAクリーンでは36.02%という平均的な精度が達成され、3つのベンチマークで過去最高性能のALMを上回った。 MMAUベンチマークからの質問では、オーディオファイルをオープンしてから完全な回答を生成するまでの平均遅延は1.09秒である。 コードとチェックポイントはhttps://github.com/KaiyangLi 1992/Mizar_159Mで入手できる。

関連論文リスト

• A Human-Inspired Decoupled Architecture for Efficient Audio Representation Learning [0.0]
  本稿では,HEAR(Human-inspireed Efficient Audio Representation)を提案する。 HEARは処理パイプラインを,ローカル特徴抽出のためのアコースティックモデルと,グローバルセマンティック統合のためのタスクモデルという,2つの専用モジュールに分割する。 実験の結果、HEARは推定に15Mパラメータと9.47GFLOPしか必要とせず、従来の基礎モデルの計算コストのごく一部で動作していることがわかった。
  論文  参考訳（メタデータ） (2026-03-27T06:09:03Z)
• ALARM: Audio-Language Alignment for Reasoning Models [1.425194911075608]
  本稿では,自己表現による応答をRLMと互換性のあるオーディオ理解型に変換することを提案する。 訓練のために,6M-instance Multi-task コーパスを構築した。 MMAU-speech と MMSU のベンチマークでは,オープンソースとして最高の結果が得られ,全モデルの中で第3位となった。
  論文  参考訳（メタデータ） (2026-03-10T12:03:25Z)
• AudioMarathon: A Comprehensive Benchmark for Long-Context Audio Understanding and Efficiency in Audio LLMs [53.248502396225724]
  AudioMarathonは、ロングフォームオーディオの理解と推論の効率を評価するために設計されたベンチマークである。 我々は、最先端のLALMを評価し、音声の長さが大きくなるにつれて、明らかな性能低下を観察する。 その結果、現在のLALM間での大きなギャップが示され、時間的推論の改善の必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-10-08T17:50:16Z)
• Competitive Audio-Language Models with Data-Efficient Single-Stage Training on Public Data [4.736913024290765]
  Falcon3-Audio-7Bは、MMAUベンチマークで報告されたオープンウェイトモデルの中で最高のパフォーマンスである。 我々の最小の1Bモデルは、2Bから13Bのパラメータを含むより大きなオープンモデルと競合し続けている。
  論文  参考訳（メタデータ） (2025-09-09T09:01:01Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• Audio Flamingo 2: An Audio-Language Model with Long-Audio Understanding and Expert Reasoning Abilities [72.91296768332163]
  本稿では,Audio Flamingo 2 (AF2),Audio-Language Model,LongAudioを紹介した。 AF2は、20以上のベンチマークで大規模なオープンソースおよびプロプライエタリモデルを上回る3Bパラメータの小さな言語モデルで、最先端のパフォーマンスを実現している。 音声理解を長い音声セグメント(30秒から5分)に拡張し、長い音声キャプションと質問応答タスクに基づいてALMをトレーニングするための大規模で斬新なデータセットであるLongAudioを提案する。
  論文  参考訳（メタデータ） (2025-03-06T00:10:26Z)
• Audio-Reasoner: Improving Reasoning Capability in Large Audio Language Models [91.11904427660043]
  本稿では,音声タスクの深い推論のための大規模音声言語モデルであるAudio-Reasonerを紹介する。 我々は、CoTA上でAudio-Reasonerを訓練し、オーディオ推論において優れた論理的機能を実現する。 以上の結果から,音声推論における構造化CoTトレーニングのコアが強調された。
  論文  参考訳（メタデータ） (2025-03-04T06:18:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。