論文の概要: Detecting and Mitigating Hallucinations in Machine Translation: Model Internal Workings Alone Do Well, Sentence Similarity Even Better

• arxiv url: http://arxiv.org/abs/2212.08597v2
• Date: Tue, 20 Dec 2022 16:11:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 14:54:48.061620
• Title: Detecting and Mitigating Hallucinations in Machine Translation: Model Internal Workings Alone Do Well, Sentence Similarity Even Better
• Title（参考訳）: 機械翻訳における幻覚の検出と緩和:モデル内部作業がうまくいき、文の類似性がさらに向上する
• Authors: David Dale and Elena Voita and Lo\"ic Barrault and Marta R. Costa-juss\`a
• Abstract要約: 生成した翻訳に対するソースコントリビューションのパーセンテージを評価する手法を提案する。 本手法は,最も重篤な幻覚の検出精度を2倍に向上し,前回のベストアプローチと同等の試験時間で幻覚を緩和することができる。 次に、内部モデルの特徴から離れ、外部ツールを許容すると、言語間埋め込みから文類似性を使用することにより、これらの結果がさらに改善されることを示す。
• 参考スコア（独自算出の注目度）: 11.84762742895239
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: While the problem of hallucinations in neural machine translation has long been recognized, so far the progress on its alleviation is very little. Indeed, recently it turned out that without artificially encouraging models to hallucinate, previously existing methods fall short and even the standard sequence log-probability is more informative. It means that characteristics internal to the model can give much more information than we expect, and before using external models and measures, we first need to ask: how far can we go if we use nothing but the translation model itself ? We propose to use a method that evaluates the percentage of the source contribution to a generated translation. Intuitively, hallucinations are translations "detached" from the source, hence they can be identified by low source contribution. This method improves detection accuracy for the most severe hallucinations by a factor of 2 and is able to alleviate hallucinations at test time on par with the previous best approach that relies on external models. Next, if we move away from internal model characteristics and allow external tools, we show that using sentence similarity from cross-lingual embeddings further improves these results.
• Abstract（参考訳）: 神経機械翻訳における幻覚の問題は長い間認識されてきたが、これまでのところその緩和の進歩はほとんどない。 実際、最近になって、人工的にモデルに幻覚を与えることなく、既存のメソッドが不足し、標準シーケンスのログプローバビリティがより有益であることが判明した。 これは、モデルの内部特性が予想以上に多くの情報を提供できることを意味しており、外部モデルや測度を使用する前に、最初に問う必要がある。 本稿では,生成した翻訳に対するソースの寄与率を評価する手法を提案する。 直感的には、幻覚はソースから「切り離された」翻訳であるため、低いソースのコントリビューションによって識別することができる。 この方法は、最も重度の幻覚の検出精度を2倍に向上させ、外部モデルに依存する以前の最善のアプローチと同等に、テスト時に幻覚を緩和することができる。 次に、内部モデルの特徴から離れて外部ツールを可能にすると、言語間埋め込みによる文の類似性がこれらの結果をさらに改善することを示す。

関連論文リスト

• Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models [65.32990889402927]
  「我々はこの現象を知識の誇張として造る。」 その結果, 幻覚率の増大は, 不均衡比と支配的条件記述の長さに左右されることがわかった。 本稿では,その発生前に幻覚をキャッチするための信号として,オーバーシェーディング条件を用いることを提案する。
  論文  参考訳（メタデータ） (2024-07-10T20:37:42Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models [11.492702369437785]
  幻覚は、ソースの発声とは意味的に無関係であるが、それでも流動的でコヒーレントである。 単語誤り率などの一般的なメトリクスは、幻覚モデルと非幻覚モデルとを区別できないことを示す。 本研究は,幻覚を識別する枠組みを考案し,その意味的関係と基礎的真理と流布との関係を解析する。
  論文  参考訳（メタデータ） (2024-01-03T06:56:56Z)
• Calibrated Language Models Must Hallucinate [11.891340760198798]
  最近の言語モデルでは、驚くほどの頻度で、偽のもっとも可聴なテキストを生成する。 この研究は、事前訓練された言語モデルがある種の事実を幻覚させる速度に固有の統計的下限が存在することを示している。 訓練データから真偽を判断できない「任意」事実に対して, 幻覚は言語モデルに対して一定の速度で発生しなければならないことを示す。
  論文  参考訳（メタデータ） (2023-11-24T18:29:50Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• Understanding and Detecting Hallucinations in Neural Machine Translation via Model Introspection [28.445196622710164]
  まず, 幻覚の発生に対する相対的なトークン寄与を, ソース摂動によって生成された非幻覚出力と対照的な幻覚出力で分析することにより, 幻覚の内的モデル症状を同定する。 次に、これらの症状は、より軽量な幻覚検知器の設計において、自然幻覚の信頼性のある指標であることが示される。
  論文  参考訳（メタデータ） (2023-01-18T20:43:13Z)
• Reducing Hallucinations in Neural Machine Translation with Feature Attribution [54.46113444757899]
  本研究は,NMTにおける幻覚の軽減を目的としたモデル理解と正規化に着目したケーススタディである。 まず,幻覚を発生させるNMTモデルの振る舞いを研究するために,特徴帰属法を用いる。 次に、これらの手法を利用して、幻覚の低減に大きく貢献し、ゼロからモデルを再訓練する必要のない新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2022-11-17T20:33:56Z)
• Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
  モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。 この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。 そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:30:54Z)
• Looking for a Needle in a Haystack: A Comprehensive Study of Hallucinations in Neural Machine Translation [17.102338932907294]
  我々はNMT幻覚研究の基礎を設定した。 テスト時に幻覚を緩和する簡単な方法であるDeHallucinatorを提案する。
  論文  参考訳（メタデータ） (2022-08-10T12:44:13Z)
• On Hallucination and Predictive Uncertainty in Conditional Language Generation [76.18783678114325]
  高い予測の不確実性は幻覚の確率が高い。 認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。 提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
  論文  参考訳（メタデータ） (2021-03-28T00:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。