論文の概要: JASTIN: Aligning LLMs for Zero-Shot Audio and Speech Evaluation via Natural Language Instructions

• arxiv url: http://arxiv.org/abs/2605.04505v1
• Date: Wed, 06 May 2026 05:18:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.657151
• Title: JASTIN: Aligning LLMs for Zero-Shot Audio and Speech Evaluation via Natural Language Instructions
• Title（参考訳）: JASTIN: 自然言語によるゼロショット音声・音声評価のためのLLMの調整
• Abstract要約: JASTINは命令駆動型オーディオ評価フレームワークである。 自己指示型推論タスクとして音声アセスメントを定式化する。 音声、音、音楽、ドメイン外評価タスクでMLLMを一貫して上回ります。
• 参考スコア（独自算出の注目度）: 66.71387365429062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of generative audio models has outpaced the development of robust evaluation methodologies. Existing objective metrics and general multimodal large language models (MLLMs) often struggle with domain generalization, zero-shot capabilities, and instructional flexibility. To address these bottlenecks, we propose JASTIN, a generalizable, instruction-driven audio evaluation framework that formulates audio assessment as a self-instructed reasoning task. JASTIN bridges a frozen high-performance audio encoder with a fine-tuned LLM backbone via a trainable audio adapter. To ensure robust zero-shot generalization, we introduce a comprehensive instruction following data preparation pipeline, incorporating Multi-Source, Multi-Task, Multi-Calibration, and Multi-Description data. Experimental results demonstrate that JASTIN achieves state-of-the-art Pearson and Spearman correlations with human subjective ratings. It consistently outperforms general MLLMs across speech, sound, music, and out-of-domain evaluation tasks without the need for task-specific retraining.
• Abstract（参考訳）: 生成音声モデルの急速な進歩は、ロバストな評価手法の開発を上回っている。 既存の客観的メトリクスと汎用マルチモーダル大言語モデル(MLLM)はドメインの一般化、ゼロショット機能、命令の柔軟性に悩まされることが多い。 これらのボトルネックに対処するために,JASTINを提案する。JASTINは,音声アセスメントを自己指示型推論タスクとして定式化する汎用的,命令駆動型オーディオアセスメントフレームワークである。 JASTINは、冷凍された高性能オーディオエンコーダを、トレーニング可能なオーディオアダプタを介して、微調整のLLMバックボーンでブリッジする。 ゼロショットのロバストな一般化を実現するため,マルチソース,マルチタスク,マルチキャリブレーション,マルチ記述データを組み込んだ,データ準備パイプラインに基づく包括的命令を導入する。 実験の結果, JASTINはPearsonとSpearmanの相関をヒトの主観的評価と比較した。 タスク固有のリトレーニングを必要とせずに、音声、音、音楽、ドメイン外評価タスクで一般的なMLLMを一貫して上回ります。

関連論文リスト

• AzeroS: Extending LLM to Speech with Self-Generated Instruction-Free Tuning [49.68129589035101]
  AZeroS (Auden Zero-Instruction-tuned Speech-LLM) を導入する。 AZeroSはセマンティックベンチマークとパラ言語ベンチマークの両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-12-31T04:05:04Z)
• An Evaluation of Interleaved Instruction Tuning on Semantic Reasoning Performance in an Audio MLLM [15.340075567628466]
  本研究は,プロンプト内で音声トークンをインターリーブするMLLMにおいて,インターリーブド・インストラクション・チューニングが与える影響について検討した。 その結果,ゼロショットインターリーブでも推論タスクの性能は向上するが,微調整が少なすぎると結果がさらに改善することがわかった。
  論文  参考訳（メタデータ） (2025-11-04T03:54:55Z)
• DeSTA2.5-Audio: Toward General-Purpose Large Audio Language Model with Self-Generated Cross-Modal Alignment [94.0709779805955]
  DeSTA2.5-Audio, a general-purpose Large Audio Language Model (LALM)について紹介する。 タスク固有の音声命令チューニングを必要とせず、頑健な聴覚知覚と指示追従のために設計されている。 DeSTA2.5-Audioは、幅広いオーディオ言語ベンチマークで最先端または競合的なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-07-03T16:28:25Z)
• From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
  音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。 これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。 本研究では、現在と欠落した音を区別するALLMの能力を高めるために、コントラッシブな訓練データを生成するデータ生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:08:41Z)
• Enhancing Generalization of Speech Large Language Models with Multi-Task Behavior Imitation and Speech-Text Interleaving [36.246791887458194]
  大規模言語モデル(LLM)はタスク間で顕著な一般化を示している。 LLMは通常、教師付き微調整を使用して、テキストベースのLLMと音声を一致させる。 本稿では,音声テキストをインターリーブしたマルチタスクの「行動模倣」手法を提案する。
  論文  参考訳（メタデータ） (2025-05-24T11:09:13Z)
• Self-Powered LLM Modality Expansion for Large Speech-Text Models [62.27700381806554]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスを示す。 本研究は,バニラ調律の限界に対処して,LSM訓練における音声データセットの利用を改良することを目的とする。 そこで本研究では,モデル自体が生成する拡張音声認識データを利用して,より効果的な命令チューニングを行う自己力 LSM を提案する。
  論文  参考訳（メタデータ） (2024-10-04T04:34:24Z)
• Large Language Models are Strong Audio-Visual Speech Recognition Learners [53.142635674428874]
  マルチモーダル・大規模言語モデル(MLLM)は,近年,多モーダル理解能力の強化により,研究の焦点となっている。 本稿では,Llama-AVSRを提案する。 我々は,最大公的なAVSRベンチマークであるLSS3に対する提案手法を評価し,WERが0.79%,AVSRが0.77%であるASRとAVSRのタスクに対して,新しい最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2024-09-18T21:17:27Z)
• Enhancing Audio-Language Models through Self-Supervised Post-Training with Text-Audio Pairs [3.8300818830608345]
  音声とテキストのマルチモーダルコントラスト学習戦略が急速に注目されている。 これらのモデルが自然言語や時間的関係を理解する能力は、いまだに未探索でオープンな研究分野である。 本稿では,時間的インスツルメント手法であるTeminalを用いて,時間的理解を伴うマルチモーダルALMを,従来の音声言語タスクの能力を損なうことなく装備することを提案する。
  論文  参考訳（メタデータ） (2024-08-17T18:53:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。