論文の概要: Understanding and Detecting Hallucinations in Neural Machine Translation via Model Introspection

• arxiv url: http://arxiv.org/abs/2301.07779v1
• Date: Wed, 18 Jan 2023 20:43:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-20 16:11:58.170395
• Title: Understanding and Detecting Hallucinations in Neural Machine Translation via Model Introspection
• Title（参考訳）: モデルイントロスペクションによる神経機械翻訳における幻覚の理解と検出
• Authors: Weijia Xu, Sweta Agrawal, Eleftheria Briakou, Marianna J. Martindale, Marine Carpuat
• Abstract要約: まず, 幻覚の発生に対する相対的なトークン寄与を, ソース摂動によって生成された非幻覚出力と対照的な幻覚出力で分析することにより, 幻覚の内的モデル症状を同定する。 次に、これらの症状は、より軽量な幻覚検知器の設計において、自然幻覚の信頼性のある指標であることが示される。
• 参考スコア（独自算出の注目度）: 28.445196622710164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural sequence generation models are known to "hallucinate", by producing outputs that are unrelated to the source text. These hallucinations are potentially harmful, yet it remains unclear in what conditions they arise and how to mitigate their impact. In this work, we first identify internal model symptoms of hallucinations by analyzing the relative token contributions to the generation in contrastive hallucinated vs. non-hallucinated outputs generated via source perturbations. We then show that these symptoms are reliable indicators of natural hallucinations, by using them to design a lightweight hallucination detector which outperforms both model-free baselines and strong classifiers based on quality estimation or large pre-trained models on manually annotated English-Chinese and German-English translation test beds.
• Abstract（参考訳）: ニューラルシーケンス生成モデルは、ソーステキストとは無関係な出力を生成することで「幻覚」することが知られている。 これらの幻覚は潜在的に有害であるが、どのような状況でどのように影響を和らげるかは不明だ。 本研究は,まず,ソース摂動によって生成される非幻覚出力と対比幻覚生成における生成に対する相対的トークン寄与を分析し,幻覚の内部モデル症状を同定する。 そこで,これらの症状は,手作業による英語とドイツ語の翻訳テストベッド上で,品質評価や大規模事前学習モデルに基づいて,モデルフリーベースラインと強力な分類器の両方に優れる軽量幻覚検出器を設計することにより,自然幻覚の指標となることを示す。

関連論文リスト

• Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models [65.32990889402927]
  「我々はこの現象を知識の誇張として造る。」 その結果, 幻覚率の増大は, 不均衡比と支配的条件記述の長さに左右されることがわかった。 本稿では,その発生前に幻覚をキャッチするための信号として,オーバーシェーディング条件を用いることを提案する。
  論文  参考訳（メタデータ） (2024-07-10T20:37:42Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Mechanistic Understanding and Mitigation of Language Model Non-Factual Hallucinations [42.46721214112836]
  State-of-the-art Language Model (LM) は、世界の知識と混同する非現実的な幻覚を生じることがある。 我々は、主観的関係クエリを用いた診断データセットを作成し、内部モデル表現による幻覚の追跡に解釈可能性手法を適用した。
  論文  参考訳（メタデータ） (2024-03-27T00:23:03Z)
• Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models [11.492702369437785]
  幻覚は、ソースの発声とは意味的に無関係であるが、それでも流動的でコヒーレントである。 単語誤り率などの一般的なメトリクスは、幻覚モデルと非幻覚モデルとを区別できないことを示す。 本研究は,幻覚を識別する枠組みを考案し,その意味的関係と基礎的真理と流布との関係を解析する。
  論文  参考訳（メタデータ） (2024-01-03T06:56:56Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• On Early Detection of Hallucinations in Factual Question Answering [5.353798542990414]
  幻覚は依然として ユーザーの信頼を得るための大きな障害です モデル生成に関連するアーティファクトが、世代が幻覚を含むことを示すヒントを提供することができるかどうかを探索する。 モデル生成を幻覚と非幻覚に分類するために、これらのアーティファクトを入力機能として使用するバイナリ分類器を訓練する。
  論文  参考訳（メタデータ） (2023-12-19T14:35:04Z)
• Reducing Hallucinations in Neural Machine Translation with Feature Attribution [54.46113444757899]
  本研究は,NMTにおける幻覚の軽減を目的としたモデル理解と正規化に着目したケーススタディである。 まず,幻覚を発生させるNMTモデルの振る舞いを研究するために,特徴帰属法を用いる。 次に、これらの手法を利用して、幻覚の低減に大きく貢献し、ゼロからモデルを再訓練する必要のない新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2022-11-17T20:33:56Z)
• Probing Causes of Hallucinations in Neural Machine Translations [51.418245676894465]
  本稿では,モデルアーキテクチャの観点から幻覚の原因を探索する手法を提案する。 幻覚には、しばしば欠陥のあるエンコーダ、特に埋め込み、脆弱なクロスアテンションが伴う。
  論文  参考訳（メタデータ） (2022-06-25T01:57:22Z)
• On Hallucination and Predictive Uncertainty in Conditional Language Generation [76.18783678114325]
  高い予測の不確実性は幻覚の確率が高い。 認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。 提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
  論文  参考訳（メタデータ） (2021-03-28T00:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。