Fugu-MT 論文翻訳(概要): MISHAP-Bench: A Hallucination Benchmark for Large Audio-Language Models

論文の概要: MISHAP-Bench: A Hallucination Benchmark for Large Audio-Language Models

arxiv url: http://arxiv.org/abs/2609.33893v1
Date: Sun, 27 Sep 2026 20:17:28 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-04 15:50:53.374111
Title: MISHAP-Bench: A Hallucination Benchmark for Large Audio-Language Models
Title（参考訳）: MISHAP-Bench:大規模オーディオ言語モデルの幻覚ベンチマーク
Abstract要約: 大規模な音声言語モデル (LALM) は、音声に関する流動的な応答を生成するが、しばしば、プラウシブルで根拠のない主張をすることで幻覚させる。既存の音声幻覚ベンチマークは、主に応答の正しさを計測し、LALMが幻覚するかどうか、単に音声を理解するのに失敗するか、はっきりしないままである。本研究は,2つの幻覚的カテゴリーを定義して,正当性に基づく評価に挑戦する。 (i) 主張が音声に根ざしていない状況, (ii) 知識, (ii) 音声関連トピックに関する主張が外部から検証可能な事実からの支持を欠いている状況,である。
参考スコア（独自算出の注目度）: 1.9966760594593846
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large audio-language models (LALMs) produce fluent responses about audio but often hallucinate by making plausible yet ungrounded claims. Existing audio hallucination benchmarks mainly measure response correctness, leaving it unclear whether an LALM hallucinates or simply fails to understand the audio. We challenge correctness-based evaluation by defining two hallucination categories: (i) context, where claims are not grounded in the audio; and (ii) knowledge, where claims about audio-related topics lack support from externally verifiable facts. We introduce MISHAP-Bench, a comprehensive benchmark with 12,000 challenging open-ended question-audio pairs and a rigorous evaluation pipeline covering both categories. To evaluate open-ended responses, we propose a groundedness judge that uses reference rubrics and judge prompts guided by human annotations. We extensively evaluate ten state-of-the-art LALMs and show that hallucination remains substantial. Even a frontier model such as Gemini 3.7 Flash reaches a hallucination rate of 36.5%. We further adapt and benchmark four mitigation methods from multiple domains for LALMs. Despite some improvements, effective hallucination mitigation remains an open challenge. Finally, we call on the community to evaluate hallucination and benchmark mitigation methods with MISHAP-Bench.
Abstract（参考訳）: 大規模な音声言語モデル (LALM) は、音声に関する流動的な応答を生成するが、しばしば、プラウシブルで根拠のない主張をすることで幻覚させる。既存の音声幻覚ベンチマークは、主に応答の正しさを計測し、LALMが幻覚するかどうか、単に音声を理解するのに失敗するか、はっきりしないままである。 2つの幻覚カテゴリーを定め,正当性に基づく評価に挑戦する。 (i)クレームが音声に基づかない状況、及び (II) 音声関連トピックに関する主張が外部の検証可能な事実からの支持を欠いている知識。 MISHAP-Benchは、12,000の挑戦的なオープンエンドな質問オーディオペアと、両方のカテゴリをカバーする厳密な評価パイプラインを備えた総合的なベンチマークである。オープンエンド応答を評価するために,人間のアノテーションで指示された基準ルーリックと判定プロンプトを用いたグラウンドドネス判定法を提案する。当科では10種類のLALMを広範囲に評価し,幻覚が引き続き顕著であることを示す。 Gemini 3.7 Flashのようなフロンティアモデルでさえ、幻覚率36.5%に達する。さらに、LALMのための複数のドメインからの4つの緩和手法を適応し、ベンチマークする。いくつかの改善にもかかわらず、効果的な幻覚の緩和は未解決の課題である。最後に,MISHAP-Benchを用いた幻覚およびベンチマーク緩和手法の評価をコミュニティに求めている。

関連論文リスト

Does Playing it Safe Count as Faithfulness? Reassessing LVLM Hallucination Mitigation Methods [2.0136860356096817]
大型視覚モデル (LVLM) に対する幻覚緩和法は幻覚ベンチマークにおいて強い利得を報告している。より低い幻覚スコアがマルチモーダルグラウンドの改善を反映しているか、より保守的な生成を反映しているかは、まだ不明である。 3つのLVLMと4つのベンチマークにまたがる6つの緩和手法の評価を行った。
論文参考訳（メタデータ） (2026-09-01T21:34:31Z)
HalluAudio: A Comprehensive Benchmark for Hallucination Detection in Large Audio-Language Models [30.18524844766061]
HalluAudioは、音声、環境音、音楽の幻覚を評価するための最初の大規模ベンチマークである。 HalluAudioは、5万以上の人間による検証されたQAペアで構成され、バイナリ判断、複数選択推論、属性検証、オープンエンドQAなど、さまざまなタスクタイプにまたがる。以上の結果から, 音場, 時間的推論, 音楽属性の理解において, 信頼性とロバスト性を考慮したLALMの必要性が示唆された。
論文参考訳（メタデータ） (2026-04-21T10:05:28Z)
Noise-Aware In-Context Learning for Hallucination Mitigation in ALLMs [5.553031534100783]
聴覚的大言語モデル(ALLM)は、音声理解と推論タスクにおいて強力な汎用性を実証している。幻覚問題に対処するために,NAICL(Noss-Aware In-Context Learning)法を提案する。
論文参考訳（メタデータ） (2026-04-10T06:35:46Z)
KGHaluBench: A Knowledge Graph-Based Hallucination Benchmark for Evaluating the Breadth and Depth of LLM Knowledge [1.845601051662407]
大規模言語モデル (LLM) は説得力と理解力のある言語を生成する優れた能力を持っている。既存のベンチマークは静的な質問と狭い質問によって制限されており、カバー範囲の制限と誤解を招く評価につながっている。本稿では,知識グラフに基づく幻覚ベンチマークKGHaluBenchを紹介する。
論文参考訳（メタデータ） (2026-02-23T09:41:46Z)
Beyond Facts: Evaluating Intent Hallucination in Large Language Models [13.315302240710164]
FAITHQAは20,068問題を含む意図幻覚の新しいベンチマークである。我々は、最先端のモデルにおいても意図幻覚は一般的な問題であると考えている。意図の幻覚を検出するための自動LLM生成評価指標であるCONSTRAINT SCOREを導入する。
論文参考訳（メタデータ） (2025-06-06T21:10:55Z)
HalluLens: LLM Hallucination Benchmark [49.170128733508335]
大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
論文参考訳（メタデータ） (2025-04-24T13:40:27Z)
Exploring Hallucination of Large Multimodal Models in Video Understanding: Benchmark, Analysis and Mitigation [49.885797244626694]
大型マルチモーダルモデル(LMM)の幻覚は、正しいように見えるが実際には正しくない応答を提供する。本稿では,ビデオモダリティにおけるLMMの幻覚問題について検討することを目的としている。
論文参考訳（メタデータ） (2025-03-25T13:12:17Z)
Trust Me, I'm Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer [51.7407540261676]
本研究では,モデルが常に正しい解答を行うことのできる幻覚の別のタイプについて検討するが,一見自明な摂動は,高い確実性で幻覚応答を生じさせる。この現象は特に医学や法学などの高度な領域において、モデルの確実性はしばしば信頼性の代用として使用される。 CHOKEの例は、プロンプト間で一貫性があり、異なるモデルやデータセットで発生し、他の幻覚と根本的に異なることを示す。
論文参考訳（メタデータ） (2025-02-18T15:46:31Z)
Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
論文参考訳（メタデータ） (2024-01-12T19:02:48Z)
HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models [146.87696738011712]
大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
論文参考訳（メタデータ） (2023-05-19T15:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。