論文の概要: Probing Causes of Hallucinations in Neural Machine Translations

• arxiv url: http://arxiv.org/abs/2206.12529v1
• Date: Sat, 25 Jun 2022 01:57:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 15:25:05.070852
• Title: Probing Causes of Hallucinations in Neural Machine Translations
• Title（参考訳）: 神経機械翻訳における幻覚の原因の探索
• Authors: Jianhao Yan, Fandong Meng, Jie Zhou
• Abstract要約: 本稿では,モデルアーキテクチャの観点から幻覚の原因を探索する手法を提案する。 幻覚には、しばしば欠陥のあるエンコーダ、特に埋め込み、脆弱なクロスアテンションが伴う。
• 参考スコア（独自算出の注目度）: 51.418245676894465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination, one kind of pathological translations that bothers Neural Machine Translation, has recently drawn much attention. In simple terms, hallucinated translations are fluent sentences but barely related to source inputs. Arguably, it remains an open problem how hallucination occurs. In this paper, we propose to use probing methods to investigate the causes of hallucinations from the perspective of model architecture, aiming to avoid such problems in future architecture designs. By conducting experiments over various NMT datasets, we find that hallucination is often accompanied by the deficient encoder, especially embeddings, and vulnerable cross-attentions, while, interestingly, cross-attention mitigates some errors caused by the encoder.
• Abstract（参考訳）: 神経機械翻訳を悩ませる病態翻訳の一種である幻覚は、最近多くの注目を集めている。 簡単に言えば、幻覚翻訳は流麗な文であるが、ソース入力とはほとんど関係がない。 幻覚の発生は依然として未解決の問題である。 本稿では,モデルアーキテクチャの観点から幻覚の原因を調べるための探索手法を提案する。 様々なnmtデータセット上で実験を行うことで、幻覚はしばしば不足エンコーダ、特に埋め込み、脆弱なクロスアテンションを伴うが、興味深いことにクロスアテンションはエンコーダに起因するいくつかのエラーを緩和する。

関連論文リスト

• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [48.065569871444275]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• A Cause-Effect Look at Alleviating Hallucination of Knowledge-grounded Dialogue Generation [51.53917938874146]
  我々は,対話知識の相互作用を利用して,KGDの幻覚を緩和するための解決策を提案する。 本手法は,他の対話性能を損なうことなく幻覚を低減できることを示す。
  論文  参考訳（メタデータ） (2024-04-04T14:45:26Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models [11.492702369437785]
  幻覚は、ソースの発声とは意味的に無関係であるが、それでも流動的でコヒーレントである。 単語誤り率などの一般的なメトリクスは、幻覚モデルと非幻覚モデルとを区別できないことを示す。 本研究は,幻覚を識別する枠組みを考案し,その意味的関係と基礎的真理と流布との関係を解析する。
  論文  参考訳（メタデータ） (2024-01-03T06:56:56Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• Understanding and Detecting Hallucinations in Neural Machine Translation via Model Introspection [28.445196622710164]
  まず, 幻覚の発生に対する相対的なトークン寄与を, ソース摂動によって生成された非幻覚出力と対照的な幻覚出力で分析することにより, 幻覚の内的モデル症状を同定する。 次に、これらの症状は、より軽量な幻覚検知器の設計において、自然幻覚の信頼性のある指標であることが示される。
  論文  参考訳（メタデータ） (2023-01-18T20:43:13Z)
• Reducing Hallucinations in Neural Machine Translation with Feature Attribution [54.46113444757899]
  本研究は,NMTにおける幻覚の軽減を目的としたモデル理解と正規化に着目したケーススタディである。 まず,幻覚を発生させるNMTモデルの振る舞いを研究するために,特徴帰属法を用いる。 次に、これらの手法を利用して、幻覚の低減に大きく貢献し、ゼロからモデルを再訓練する必要のない新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2022-11-17T20:33:56Z)
• Looking for a Needle in a Haystack: A Comprehensive Study of Hallucinations in Neural Machine Translation [17.102338932907294]
  我々はNMT幻覚研究の基礎を設定した。 テスト時に幻覚を緩和する簡単な方法であるDeHallucinatorを提案する。
  論文  参考訳（メタデータ） (2022-08-10T12:44:13Z)
• The Curious Case of Hallucinations in Neural Machine Translation [5.3180458405676205]
  ニューラルマシン翻訳の幻覚は、NMT病理のスペクトルの極端な終わりにあります。 我々は,コーパスレベルの雑音下での幻覚について考察し,二つの顕著な自然幻覚が,特定のコーパスレベルの雑音パターンによって生成され,説明できることを示す。 バックトランスレーションやシーケンスレベルの知識蒸留といった一般的なデータ生成プロセスにおける幻覚増幅現象を解明する。
  論文  参考訳（メタデータ） (2021-04-14T08:09:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。