論文の概要: ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models

• arxiv url: http://arxiv.org/abs/2407.04693v1
• Date: Fri, 5 Jul 2024 17:56:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 12:31:56.250737
• Title: ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models
• Title（参考訳）: ANAH-v2:大規模言語モデルの拡張型ハロシン化アノテーション
• Authors: Yuzhe Gu, Ziwei Ji, Wenwei Zhang, Chengqi Lyu, Dahua Lin, Kai Chen,
• Abstract要約: 大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。 現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。 本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 65.12177400764506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) exhibit hallucinations in long-form question-answering tasks across various domains and wide applications. Current hallucination detection and mitigation datasets are limited in domains and sizes, which struggle to scale due to prohibitive labor costs and insufficient reliability of existing hallucination annotators. To facilitate the scalable oversight of LLM hallucinations, this paper introduces an iterative self-training framework that simultaneously and progressively scales up the hallucination annotation dataset and improves the accuracy of the hallucination annotator. Based on the Expectation Maximization (EM) algorithm, in each iteration, the framework first applies a hallucination annotation pipeline to annotate a scaled dataset and then trains a more accurate hallucination annotator on the dataset. This new hallucination annotator is adopted in the hallucination annotation pipeline used for the next iteration. Extensive experimental results demonstrate that the finally obtained hallucination annotator with only 7B parameters surpasses the performance of GPT-4 and obtains new state-of-the-art hallucination detection results on HaluEval and HalluQA by zero-shot inference. Such an annotator can not only evaluate the hallucination levels of various LLMs on the large-scale dataset but also help to mitigate the hallucination of LLMs generations, with the Natural Language Inference (NLI) metric increasing from 25% to 37% on HaluEval.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。 現在の幻覚検出と緩和データセットは、禁止労働コストと既存の幻覚アノテータの信頼性の欠如によりスケールに苦慮しているドメインやサイズに限られている。 LLM幻覚のスケーラブルな監視を容易にするために,幻覚アノテーションデータセットを同時に段階的にスケールアップし,幻覚アノテータの精度を向上する反復的自己学習フレームワークを提案する。 expectation Maximization (EM)アルゴリズムに基づいて、各イテレーションにおいて、フレームワークはまず、拡張データセットに注釈を付けるために幻覚アノテーションパイプラインを適用し、次にデータセットにより正確な幻覚アノテーションをトレーニングする。 この新たな幻覚アノテータは、次のイテレーションで使用される幻覚アノテーションパイプラインに採用されている。 7Bパラメータしか持たない最終的に得られた幻覚アノテータは、GPT-4の性能を上回り、ゼロショット推論によるHaluEvalおよびHaluQA上の新しい最先端幻覚検出結果を得ることを示した。 このようなアノテータは、大規模なデータセット上で様々なLLMの幻覚レベルを評価するだけでなく、LLM世代における幻覚の緩和にも役立ち、自然言語推論(NLI)の指標はHaluEvalで25%から37%まで増加する。

関連論文リスト

• ANAH: Analytical Annotation of Hallucinations in Large Language Models [65.12177400764506]
  我々は、大言語モデルにおける幻覚の@textbfAN$alytical $textbfA$nnotationを提供するデータセットである$textbfANAH$を提示する。 ANAHは、700以上のトピックをカバーする4.3k LLM応答のための12kの文レベルのアノテーションで構成されている。 幻覚アノテーションの微粒化により, LLMの幻覚が解答に蓄積されることを定量的に確認し, ANAHを用いて幻覚アノテーションを訓練し, 評価する。
  論文  参考訳（メタデータ） (2024-05-30T17:54:40Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [48.065569871444275]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。