論文の概要: Improving Factual Error Correction by Learning to Inject Factual Errors
- arxiv url: http://arxiv.org/abs/2312.07049v1
- Date: Tue, 12 Dec 2023 08:02:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 16:59:14.635201
- Title: Improving Factual Error Correction by Learning to Inject Factual Errors
- Title（参考訳）: 実誤りを注入する学習による実誤り訂正の改善
- Authors: Xingwei He, Qianru Zhang, A-Long Jin, Jun Ma, Yuan Yuan, Siu Ming Yiu
- Abstract要約: Factual error correctionは、最小限の編集で偽のクレームの事実的エラーを修正することを目的としている。
既存の手法ではマスク-then-correct パラダイムが一般的である。
本稿では,3段階の遠隔監視手法を提案する。
- 参考スコア（独自算出の注目度）: 16.01718112369659
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Factual error correction (FEC) aims to revise factual errors in false claims
with minimal editing, making them faithful to the provided evidence. This task
is crucial for alleviating the hallucination problem encountered by large
language models. Given the lack of paired data (i.e., false claims and their
corresponding correct claims), existing methods typically adopt the
mask-then-correct paradigm. This paradigm relies solely on unpaired false
claims and correct claims, thus being referred to as distantly supervised
methods. These methods require a masker to explicitly identify factual errors
within false claims before revising with a corrector. However, the absence of
paired data to train the masker makes accurately pinpointing factual errors
within claims challenging. To mitigate this, we propose to improve FEC by
Learning to Inject Factual Errors (LIFE), a three-step distantly supervised
method: mask-corrupt-correct. Specifically, we first train a corruptor using
the mask-then-corrupt procedure, allowing it to deliberately introduce factual
errors into correct text. The corruptor is then applied to correct claims,
generating a substantial amount of paired data. After that, we filter out
low-quality data, and use the remaining data to train a corrector. Notably, our
corrector does not require a masker, thus circumventing the bottleneck
associated with explicit factual error identification. Our experiments on a
public dataset verify the effectiveness of LIFE in two key aspects: Firstly, it
outperforms the previous best-performing distantly supervised method by a
notable margin of 10.59 points in SARI Final (19.3% improvement). Secondly,
even compared to ChatGPT prompted with in-context examples, LIFE achieves a
superiority of 7.16 points in SARI Final.
- Abstract（参考訳）: 事実的誤り訂正(factual error correction, fec)は、虚偽の主張における事実的誤りを最小限の編集で修正することを目的としている。
このタスクは、大規模な言語モデルが直面する幻覚問題の緩和に不可欠である。
ペアデータ(すなわち虚偽のクレームとそれに対応する正しいクレーム)の欠如を考えると、既存の方法は通常、マスクの正しいパラダイムを採用する。
このパラダイムは、不正なクレームと正しいクレームにのみ依存するため、遠方の監督された方法と呼ばれる。
これらの方法は、補正器で修正する前に偽クレーム内の事実エラーを明示的に識別するマスカを必要とする。
しかし、マスカを訓練するためのペアデータがないため、クレーム内の事実エラーを正確に特定することは困難である。
そこで本研究では,3段階の遠方監視法である誤り(life)を学習することでfecを改善することを提案する。
具体的には、まず、マスク・then-corrupt プロシージャを用いて破損者を訓練し、故意に事実エラーを正しいテキストに導入する。
その後、破損者は正しいクレームに適用され、かなりの量のペアデータを生成する。
その後、低品質データをフィルタリングし、残りのデータを使って修正者を訓練します。
特に、我々の補正器はマスカを必要としないため、明示的な事実的エラー識別に関連するボトルネックを回避できる。
まず,SARIファイナルの10.59ポイント(改善率19.3%)において,従来の最良性能の遠隔監視手法よりも優れた性能を示した。
第二に、ChatGPTがコンテキスト内例によって引き起こされたのと比較しても、LIFEはSARIファイナルにおいて7.16ポイントの優位性を達成する。
関連論文リスト
- Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。
RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。
RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
論文 参考訳（メタデータ） (2024-10-09T07:43:38Z) - A Coin Has Two Sides: A Novel Detector-Corrector Framework for Chinese Spelling Correction [79.52464132360618]
中国語のSpelling Correction(CSC)は、自然言語処理(NLP)の基本課題である。
本稿では,エラー検出・相関器の枠組みに基づく新しい手法を提案する。
我々の検出器は2つのエラー検出結果を得るように設計されており、それぞれ高精度とリコールが特徴である。
論文 参考訳（メタデータ） (2024-09-06T09:26:45Z) - The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。
それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。
LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
論文 参考訳（メタデータ） (2024-01-01T14:02:27Z) - Learning From Mistakes Makes LLM Better Reasoner [106.48571828587728]
大規模言語モデル(LLM)は、最近数学の問題を解く際、顕著な推論能力を示した。
この研究は、LLMが人間の学習プロセスに似たMistAkes(LEMA)から学習できるかどうかを探求する。
論文 参考訳（メタデータ） (2023-10-31T17:52:22Z) - Lyra: Orchestrating Dual Correction in Automated Theorem Proving [63.115422781158934]
Lyraは新しいフレームワークで、ツール補正とConjecture Correctionという2つの異なる補正メカニズムを採用している。
ツール補正は幻覚の緩和に寄与し、それによって証明の全体的な精度が向上する。
Conjecture Correctionは命令で生成を洗練させるが、ペア化された(生成、エラー、改善)プロンプトは収集しない。
論文 参考訳（メタデータ） (2023-09-27T17:29:41Z) - (Almost) Provable Error Bounds Under Distribution Shift via Disagreement
Discrepancy [8.010528849585937]
我々は、ラベルのないテストデータを用いて、分散シフト中のディープニューラルネットワークのエラーに対して(ほぼ)保証された上限を導出する。
特に、我々の境界は単純で直感的な条件を必要とし、これは以前の経験的な研究によって十分に正当化される。
この損失は、マルチクラス不一致の最大化を必要とする将来のメソッドのドロップイン代替になることを期待しています。
論文 参考訳（メタデータ） (2023-06-01T03:22:15Z) - SciFix: Outperforming GPT3 on Scientific Factual Error Correction [9.850216012914684]
SciFixは検証を必要としない科学的クレーム補正システムであり、既存の手法をかなりの差で上回ることができる。
本手法は,学習中にLLMを使ってリッチな注釈付きデータセットを作成することができる。
論文 参考訳（メタデータ） (2023-05-24T04:24:16Z) - Converge to the Truth: Factual Error Correction via Iterative
Constrained Editing [30.740281040892086]
最小限の編集で事実誤り訂正(FEC)を行う新しい手法であるVENCEを提案する。
VENCEは、FEC問題を目標密度関数に対する反復サンプリング編集動作として定式化する。
公開データセットでの実験では、VENCEは以前の最遠距離で監督された手法よりもよく測定されたSARIの基準を5.3(または11.8%の相対的な改善)改善している。
論文 参考訳（メタデータ） (2022-11-22T10:03:13Z) - Factual Error Correction for Abstractive Summaries Using Entity
Retrieval [57.01193722520597]
本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。
RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。
次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
論文 参考訳（メタデータ） (2022-04-18T11:35:02Z) - Factual Error Correction of Claims [18.52583883901634]
本稿では,事実誤り訂正の課題を紹介する。
誤情報を含む文章を修正するメカニズムを提供します。
これは、すでに証拠によって部分的に支持されている主張に固有の説明として機能する。
論文 参考訳（メタデータ） (2020-12-31T18:11:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。