論文の概要: FG-PRM: Fine-grained Hallucination Detection and Mitigation in Language Model Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2410.06304v2
• Date: Sun, 17 Nov 2024 23:22:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:29:43.737922
• Title: FG-PRM: Fine-grained Hallucination Detection and Mitigation in Language Model Mathematical Reasoning
• Title（参考訳）: FG-PRM:言語モデル数学的推論におけるきめ細かい幻覚の検出と緩和
• Authors: Ruosen Li, Ziming Luo, Xinya Du,
• Abstract要約: 既存のアプローチは、主に幻覚の存在を検知するが、それらのタイプや表現の微妙な理解は欠如している。 数学的推論タスクにおける一般的な幻覚を6つのタイプに分類する包括的分類法を導入する。 次に,FG-PRM(FG-PRM)を提案する。
• 参考スコア（独自算出の注目度）: 10.709365940160685
• License:
• Abstract: Hallucinations in large language models (LLMs) pose significant challenges in tasks requiring complex multi-step reasoning, such as mathematical problem-solving. Existing approaches primarily detect the presence of hallucinations but lack a nuanced understanding of their types and manifestations. In this paper, we first introduce a comprehensive taxonomy that categorizes the common hallucinations in mathematical reasoning task into six types: fabrication, factual inconsistency, context inconsistency, instruction inconsistency, logical inconsistency, and logical error. We then propose FG-PRM (Fine-Grained Process Reward Model), an augmented model designed to detect and mitigate hallucinations in a fine-grained, step-level manner. To address the limitations of manually labeling training data, we propose an automated method for generating fine-grained hallucination data using LLMs. By injecting hallucinations into reasoning steps of correct solutions, we create a diverse and balanced synthetic dataset for training FG-PRM, which consists of six specialized Process Reward Models (PRMs), each tailored to detect a specific hallucination type. Our FG-PRM demonstrates superior performance across two key tasks: 1) Fine-grained hallucination detection: classifying hallucination types for each reasoning step; and 2) Verification: ranking multiple LLM-generated outputs to select the most accurate solution, mitigating reasoning hallucinations. Our experiments show that FG-PRM outperforms ChatGPT-3.5 and Claude-3 on fine-grained hallucination detection and substantially boosts the performance of LLMs on GSM8K and MATH benchmarks.
• Abstract（参考訳）: 大規模言語モデル(LLM)における幻覚は、数学的問題解決のような複雑な多段階推論を必要とするタスクにおいて重大な課題を引き起こす。 既存のアプローチは、主に幻覚の存在を検知するが、それらのタイプや表現の微妙な理解が欠如している。 本稿ではまず, 数学的推論タスクにおける共通幻覚を, 生成, 事実的不整合, 文脈的不整合, 命令的不整合, 論理的不整合, 論理的誤りの6つのタイプに分類する。 次にFG-PRM(Fine-Grained Process Reward Model)を提案する。 手動ラベリングトレーニングデータの限界に対処するため,LLMを用いて微細な幻覚データを生成する自動手法を提案する。 適切な解の推論ステップに幻覚を注入することにより、FG-PRMを訓練するための多種多様でバランスの取れた合成データセットを作成し、それぞれが特定の幻覚型を検出するように調整された6つのプロセスリワードモデル(PRM)から構成される。 我々のFG-PRMは2つの主要なタスクにまたがる優れた性能を示している。 1)微粒な幻覚検出:各推論ステップごとに幻覚の種類を分類すること。 2)検証:最も正確な解を選択するために複数のLCM生成出力をランク付けし、推論幻覚を緩和する。 実験の結果,FG-PRM は ChatGPT-3.5 と Claude-3 より微細な幻覚検出に優れ,GSM8K および MATH ベンチマーク上での LLM の性能を大幅に向上させることがわかった。

関連論文リスト

• ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
  大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。 現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。 本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:56:38Z)
• Drowzee: Metamorphic Testing for Fact-Conflicting Hallucination Detection in Large Language Models [11.138489774712163]
  我々は、FCH(Fact-Conflicting Hallucinations)の検出のためのメタモルフィックテストを強化するために、論理プログラミングを活用する革新的なアプローチを提案する。 テストケースを生成し,9つのドメインにまたがる6つの異なる大言語モデルに対して幻覚を検知し,24.7%から59.8%の比率を示した。
  論文  参考訳（メタデータ） (2024-05-01T17:24:42Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [48.065569871444275]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• Hallucination Diversity-Aware Active Learning for Text Summarization [46.00645048690819]
  LLM(Large Language Models)は、幻覚出力を生成するための妥当性を示す。 幻覚を緩和するための既存の方法は、通常、LLM出力の幻覚を識別し修正するために、人為的なアノテーションを必要とする。 LLM幻覚を緩和する最初のアクティブラーニングフレームワークを提案し,必要な幻覚アノテーションのコストを削減した。
  論文  参考訳（メタデータ） (2024-04-02T02:30:27Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。