論文の概要: Diving Deep into Modes of Fact Hallucinations in Dialogue Systems

• arxiv url: http://arxiv.org/abs/2301.04449v1
• Date: Wed, 11 Jan 2023 13:08:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 14:02:07.018811
• Title: Diving Deep into Modes of Fact Hallucinations in Dialogue Systems
• Title（参考訳）: 対話システムにおけるFact Hallucinationモードの深層化
• Authors: Souvik Das, Sougata Saha and Rohini K. Srihari
• Abstract要約: 知識グラフ(KG)に基づく会話は、しばしば大きな事前訓練されたモデルを使用し、通常、事実幻覚に悩まされる。 我々は、応答を生成しながら、誤った内容を制御する微妙な信号を提供するエンティティレベルの幻覚検出システムを構築した。
• 参考スコア（独自算出の注目度）: 2.8360662552057323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge Graph(KG) grounded conversations often use large pre-trained models and usually suffer from fact hallucination. Frequently entities with no references in knowledge sources and conversation history are introduced into responses, thus hindering the flow of the conversation -- existing work attempt to overcome this issue by tweaking the training procedure or using a multi-step refining method. However, minimal effort is put into constructing an entity-level hallucination detection system, which would provide fine-grained signals that control fallacious content while generating responses. As a first step to address this issue, we dive deep to identify various modes of hallucination in KG-grounded chatbots through human feedback analysis. Secondly, we propose a series of perturbation strategies to create a synthetic dataset named FADE (FActual Dialogue Hallucination DEtection Dataset). Finally, we conduct comprehensive data analyses and create multiple baseline models for hallucination detection to compare against human-verified data and already established benchmarks.
• Abstract（参考訳）: 知識グラフ(KG)に基づく会話は、しばしば大きな事前訓練されたモデルを使用し、事実幻覚に悩まされる。 知識ソースや会話履歴に参照のないエンティティが頻繁にレスポンスに導入されるため、会話の流れが妨げられる -- 既存の作業では、トレーニング手順の調整やマルチステップの精錬手法を使用することで、この問題を克服しようと試みている。 しかし、最小限の努力が実体レベルの幻覚検出システムの構築に費やされ、応答を生成しながら誤った内容を制御する微粒な信号が提供される。 この問題に対処する第一歩として,人間のフィードバック分析を通じて,KGを基盤としたチャットボットにおける幻覚のさまざまなモードを特定する。 次に,FADE(FActual Dialogue Hallucination Detection Dataset)と呼ばれる合成データセットを作成するための摂動戦略を提案する。 最後に、総合的なデータ分析を行い、幻覚検出のための複数のベースラインモデルを作成し、人間の検証したデータと既に確立されたベンチマークと比較する。

関連論文リスト

• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [48.065569871444275]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• A Cause-Effect Look at Alleviating Hallucination of Knowledge-grounded Dialogue Generation [51.53917938874146]
  我々は,対話知識の相互作用を利用して,KGDの幻覚を緩和するための解決策を提案する。 本手法は,他の対話性能を損なうことなく幻覚を低減できることを示す。
  論文  参考訳（メタデータ） (2024-04-04T14:45:26Z)
• DiaHalu: A Dialogue-level Hallucination Evaluation Benchmark for Large Language Models [26.289847386286446]
  本稿では,対話レベルの幻覚評価ベンチマークDiaHaluを提案する。 収集したトピックをシステムプロンプトに統合し、2つのChatGPT3.5間の対話を促進する。 人間の言語規則に従わない内容を手動で修正し、LLMを再生させ、人間と機械の相互作用のシナリオをシミュレートする。
  論文  参考訳（メタデータ） (2024-03-01T15:38:55Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
  大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。 本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
  論文  参考訳（メタデータ） (2023-10-10T03:05:44Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• Trapping LLM Hallucinations Using Tagged Context Prompts [11.655802601887197]
  本稿では,大規模言語モデルがドメイン知識の外部で実行された場合に,インスタンスを認識・フラグする新しい手法を提案する。 組込みタグと組み合わされたコンテキストを用いることで,生成言語モデル内の幻覚に対処できることが判明した。
  論文  参考訳（メタデータ） (2023-06-09T17:48:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。