論文の概要: Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models

• arxiv url: http://arxiv.org/abs/2401.01572v1
• Date: Wed, 3 Jan 2024 06:56:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 14:58:36.220167
• Title: Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models
• Title（参考訳）: ニューラル自動音声認識における幻覚 : 誤りの同定と幻覚モデル
• Authors: Rita Frieske and Bertram E. Shi
• Abstract要約: 幻覚は、ソースの発声とは意味的に無関係であるが、それでも流動的でコヒーレントである。 単語誤り率などの一般的なメトリクスは、幻覚モデルと非幻覚モデルとを区別できないことを示す。 本研究は,幻覚を識別する枠組みを考案し,その意味的関係と基礎的真理と流布との関係を解析する。
• 参考スコア（独自算出の注目度）: 11.492702369437785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hallucinations are a type of output error produced by deep neural networks. While this has been studied in natural language processing, they have not been researched previously in automatic speech recognition. Here, we define hallucinations in ASR as transcriptions generated by a model that are semantically unrelated to the source utterance, yet still fluent and coherent. The similarity of hallucinations to probable natural language outputs of the model creates a danger of deception and impacts the credibility of the system. We show that commonly used metrics, such as word error rates, cannot differentiate between hallucinatory and non-hallucinatory models. To address this, we propose a perturbation-based method for assessing the susceptibility of an automatic speech recognition (ASR) model to hallucination at test time, which does not require access to the training dataset. We demonstrate that this method helps to distinguish between hallucinatory and non-hallucinatory models that have similar baseline word error rates. We further explore the relationship between the types of ASR errors and the types of dataset noise to determine what types of noise are most likely to create hallucinatory outputs. We devise a framework for identifying hallucinations by analysing their semantic connection with the ground truth and their fluency. Finally, we discover how to induce hallucinations with a random noise injection to the utterance.
• Abstract（参考訳）: 幻覚はディープニューラルネットワークによって生成される出力エラーの一種である。 これは自然言語処理において研究されているが、これまでは自動音声認識では研究されていない。 ここでは、ASRにおける幻覚を、ソース発話と意味的に無関係なモデルによって生成される転写として定義する。 モデルの潜在的な自然言語出力に対する幻覚の類似性は、欺きの危険をもたらし、システムの信頼性に影響を与える。 単語誤り率などの一般的なメトリクスは、幻覚モデルと非幻覚モデルとを区別できないことを示す。 そこで本研究では,学習データセットへのアクセスを必要としない,自動音声認識(ASR)モデルの幻覚に対する感受性を評価するための摂動に基づく手法を提案する。 本手法は,類似の単語誤り率を持つ幻覚モデルと非幻覚モデルとの区別に有効であることを示す。 我々はさらに,asr誤りのタイプとデータセットノイズのタイプとの関係について検討し,どのタイプのノイズが幻覚的なアウトプットを生み出すかを決定する。 基礎的真理への意味的関係と流束を解析し,幻覚を識別するための枠組みを考案する。 最後に,無作為な雑音注入により幻覚を誘発する方法を見出した。

関連論文リスト

• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [48.065569871444275]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• On Early Detection of Hallucinations in Factual Question Answering [5.353798542990414]
  幻覚は依然として ユーザーの信頼を得るための大きな障害です モデル生成に関連するアーティファクトが、世代が幻覚を含むことを示すヒントを提供することができるかどうかを探索する。 モデル生成を幻覚と非幻覚に分類するために、これらのアーティファクトを入力機能として使用するバイナリ分類器を訓練する。
  論文  参考訳（メタデータ） (2023-12-19T14:35:04Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• Understanding and Detecting Hallucinations in Neural Machine Translation via Model Introspection [28.445196622710164]
  まず, 幻覚の発生に対する相対的なトークン寄与を, ソース摂動によって生成された非幻覚出力と対照的な幻覚出力で分析することにより, 幻覚の内的モデル症状を同定する。 次に、これらの症状は、より軽量な幻覚検知器の設計において、自然幻覚の信頼性のある指標であることが示される。
  論文  参考訳（メタデータ） (2023-01-18T20:43:13Z)
• Reducing Hallucinations in Neural Machine Translation with Feature Attribution [54.46113444757899]
  本研究は,NMTにおける幻覚の軽減を目的としたモデル理解と正規化に着目したケーススタディである。 まず,幻覚を発生させるNMTモデルの振る舞いを研究するために,特徴帰属法を用いる。 次に、これらの手法を利用して、幻覚の低減に大きく貢献し、ゼロからモデルを再訓練する必要のない新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2022-11-17T20:33:56Z)
• Looking for a Needle in a Haystack: A Comprehensive Study of Hallucinations in Neural Machine Translation [17.102338932907294]
  我々はNMT幻覚研究の基礎を設定した。 テスト時に幻覚を緩和する簡単な方法であるDeHallucinatorを提案する。
  論文  参考訳（メタデータ） (2022-08-10T12:44:13Z)
• Probing Causes of Hallucinations in Neural Machine Translations [51.418245676894465]
  本稿では,モデルアーキテクチャの観点から幻覚の原因を探索する手法を提案する。 幻覚には、しばしば欠陥のあるエンコーダ、特に埋め込み、脆弱なクロスアテンションが伴う。
  論文  参考訳（メタデータ） (2022-06-25T01:57:22Z)
• On Hallucination and Predictive Uncertainty in Conditional Language Generation [76.18783678114325]
  高い予測の不確実性は幻覚の確率が高い。 認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。 提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
  論文  参考訳（メタデータ） (2021-03-28T00:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。