論文の概要: CLAIR-A: Leveraging Large Language Models to Judge Audio Captions

• arxiv url: http://arxiv.org/abs/2409.12962v1
• Date: Thu, 19 Sep 2024 17:59:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 12:36:59.765521
• Title: CLAIR-A: Leveraging Large Language Models to Judge Audio Captions
• Title（参考訳）: CLAIR-A: 大きな言語モデルを活用してオーディオキャプションを判断する
• Authors: Tsung-Han Wu, Joseph E. Gonzalez, Trevor Darrell, David M. Chan,
• Abstract要約: 機械生成オーディオキャプションの評価は、様々な要因を検討する必要がある複雑なタスクである。 本稿では,大規模言語モデルのゼロショット機能を活用するシンプルで柔軟なCLAIR-Aを提案する。 我々の評価では、CLAIR-Aは従来のメトリクスと比較して品質の人的判断を良く予測する。
• 参考スコア（独自算出の注目度）: 73.51087998971418
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Automated Audio Captioning (AAC) task asks models to generate natural language descriptions of an audio input. Evaluating these machine-generated audio captions is a complex task that requires considering diverse factors, among them, auditory scene understanding, sound-object inference, temporal coherence, and the environmental context of the scene. While current methods focus on specific aspects, they often fail to provide an overall score that aligns well with human judgment. In this work, we propose CLAIR-A, a simple and flexible method that leverages the zero-shot capabilities of large language models (LLMs) to evaluate candidate audio captions by directly asking LLMs for a semantic distance score. In our evaluations, CLAIR-A better predicts human judgements of quality compared to traditional metrics, with a 5.8% relative accuracy improvement compared to the domain-specific FENSE metric and up to 11% over the best general-purpose measure on the Clotho-Eval dataset. Moreover, CLAIR-A offers more transparency by allowing the language model to explain the reasoning behind its scores, with these explanations rated up to 30% better by human evaluators than those provided by baseline methods. CLAIR-A is made publicly available at https://github.com/DavidMChan/clair-a.
• Abstract（参考訳）: Automated Audio Captioning (AAC)タスクは、音声入力の自然言語記述を生成するためにモデルを要求する。 これらの機械生成音声キャプションの評価は,様々な要因,聴覚シーンの理解,音物体の推測,時間的コヒーレンス,シーンの環境状況などを考慮した複雑な作業である。 現在の手法は特定の側面にフォーカスするが、人間の判断とよく一致した総合的なスコアを提供するのに失敗することが多い。 本研究では,大規模言語モデル(LLM)のゼロショット機能を利用して,意味的距離スコアをLLMに直接求めることによって,候補音声キャプションを評価する,シンプルで柔軟なCLAIR-Aを提案する。 我々の評価では、CLAIR-Aは従来の指標と比較して人間の品質判断をより良く予測し、ドメイン固有のFENSE指標に比べて5.8%精度が向上し、Closo-Evalデータセット上で最高の汎用測定値よりも最大11%精度が向上した。 さらに、CLAIR-Aは、言語モデルがそのスコアの背後にある理由を説明することによって、より透明性を提供する。 CLAIR-Aはhttps://github.com/DavidMChan/clair-a.comで公開されている。

関連論文リスト

• Do Audio-Language Models Understand Linguistic Variations? [42.17718387132912]
  Open-vocabulary Audio Language Model (ALM)は、自然言語クエリを用いた音声テキスト検索の新しいパラダイムである。 本稿では,言語変化に対する音声表現を学習するための新しい,計算効率の高い手法であるRobostCLAPを提案する。
  論文  参考訳（メタデータ） (2024-10-21T20:55:33Z)
• A Suite for Acoustic Language Model Evaluation [20.802090523583196]
  SALMonは、背景雑音、感情、話者識別、室内インパルス応答を含む新しい評価スイートである。 SALMon 上で複数の言語モデルを評価し,評価手法の長所と短所を強調した。
  論文  参考訳（メタデータ） (2024-09-11T17:34:52Z)
• Enhancing Audio-Language Models through Self-Supervised Post-Training with Text-Audio Pairs [3.8300818830608345]
  音声とテキストのマルチモーダルコントラスト学習戦略が急速に注目されている。 これらのモデルが自然言語や時間的関係を理解する能力は、いまだに未探索でオープンな研究分野である。 本稿では,時間的インスツルメント手法であるTeminalを用いて,時間的理解を伴うマルチモーダルALMを,従来の音声言語タスクの能力を損なうことなく装備することを提案する。
  論文  参考訳（メタデータ） (2024-08-17T18:53:17Z)
• Listenable Maps for Zero-Shot Audio Classifiers [12.446324804274628]
  我々はZero-Shotコンテキストで初めてLMAC-Z(Listenable Maps for Audio)を紹介した。 提案手法は,異なるテキストプロンプトとよく相関する有意義な説明を生成する。
  論文  参考訳（メタデータ） (2024-05-27T19:25:42Z)
• AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension [95.8442896569132]
  AIR-Benchは,Large Audio-Language Models (LALM) の様々な種類の音声信号を理解し,テキスト形式で人間と対話する能力を評価する最初のベンチマークである。 その結果, GPT-4による評価と人間による評価との間には高い一貫性が認められた。
  論文  参考訳（メタデータ） (2024-02-12T15:41:22Z)
• CLAIR: Evaluating Image Captions with Large Language Models [69.46906537973518]
  本稿では,機械生成画像のキャプション評価手法であるCLAIRを提案する。 本評価では, CLAIRは, 従来の指標と比較して, キャプション品質の人的判断と強い相関性を示した。 Clairは、言語モデルが割り当てられたスコアの背後にある根底にある推論を識別できるようにすることで、ノイズに解釈可能な結果を提供する。
  論文  参考訳（メタデータ） (2023-10-19T17:59:01Z)
• Automatic Dialect Density Estimation for African American English [74.44807604000967]
  アフリカ・アメリカン・イングリッシュ(AAE)方言の方言密度の自動予測について検討する。 方言密度は、非標準方言の特徴を含む発話における単語の割合として定義される。 このデータベースでは,AAE音声に対する予測された真理弁証密度と地上の真理弁証密度との間に有意な相関関係を示す。
  論文  参考訳（メタデータ） (2022-04-03T01:34:48Z)
• LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech [67.88748572167309]
  本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。 より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T08:52:31Z)
• Speaker-Conditioned Hierarchical Modeling for Automated Speech Scoring [60.55025339250815]
  本研究では、話者条件付き階層型モデリングと呼ばれる非ネイティブASSのための新しいディープラーニング手法を提案する。 本手法では, 口腔熟練度テストが候補に対して複数の応答を評価できるという事実を生かして, 候補に対して複数の応答を評価できる。これらの応答からコンテキストを抽出し, ネットワークに付加的な話者固有のコンテキストとして与えて, 特定の応答をスコアする。
  論文  参考訳（メタデータ） (2021-08-30T07:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。