論文の概要: An Empirical Analysis of Factual Errors in Human-Written Text and its Application
- arxiv url: http://arxiv.org/abs/2606.27959v1
- Date: Fri, 26 Jun 2026 11:03:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.470429
- Title: An Empirical Analysis of Factual Errors in Human-Written Text and its Application
- Title（参考訳）: 人文テキストにおける実誤りの実証分析とその応用
- Abstract要約: われわれはまず,人為的な事実誤りの分類を新聞記事から抽出する。
次に,バニラLLMのFED能力について,実検例と実検例で評価した。
- 参考スコア（独自算出の注目度）: 2.278444521641772
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Factual Error Detection (FED), which is the task of identifying factually incorrect spans in a given text, has long been recognized as an important research problem. However, with the rapid rise of large language models (LLMs), research attention has shifted toward factual errors specific to LLM-generated text (hallucinations) and their detection. As a result, the detection of factual errors in human-written text has been relatively neglected. To address this gap, we first distill a taxonomy of human-induced factual errors by analyzing corrections of newspaper articles, a representative source of text that is guaranteed to be human-written and contains few grammatical errors. Our analysis revealed that there are characteristic categories such as kanji misconversions and numeral classifier errors, which are not focused in existing hallucination benchmarks. Based on the taxonomy, we then evaluate the FED capability of vanilla LLMs on synthesized realistic test cases and real corrections. Experimental results demonstrated that even high-performance LLMs such as GPT-5.4 achieved only word-level F1 score of 52% on the synthetic evaluation data, highlighting the task difficulty. Furthermore, a detailed analysis by detection difficulty revealed the current state of FED.
- Abstract（参考訳）: FED(Factual Error Detection, FED)は、あるテキスト中の事実的誤りを識別するタスクであり、長い間重要な研究課題として認識されてきた。
しかし,大規模言語モデル (LLM) の急速な普及に伴い,LLM生成テキスト(ハロシン化)に特有の事実的誤りとその検出に研究の注目が向けられている。
その結果,人文テキストにおける事実誤りの検出は比較的無視されている。
このギャップに対処するために、まず新聞記事の訂正を解析し、人文的な誤りが少ないことを保証したテキストの代表的な源である人文的誤りの分類法を蒸留する。
解析の結果,既存の幻覚ベンチマークには注目されていない漢字の誤変換や数値分類器の誤りなど,特徴的カテゴリが存在することがわかった。
分類から,バニラLSMのFED能力について,実検例と実検例で評価した。
実験結果から, GPT-5.4 などの高性能 LLM においても, 単語レベルの F1 スコアは52% に留まり, 作業難易度が明らかにされた。
さらに、検出困難による詳細な解析により、FEDの現状が明らかになった。
関連論文リスト
- Interpretable Text Classification Applied to the Detection of LLM-generated Creative Writing [0.20999222360659608]
我々は、人間による創作小説(小説の抜粋)とLLMが生み出す類似のテキストとを区別する問題を考察する。
以上の結果から, 人間の観察者は, この二項分類作業において, 精度が0.93～0.98の範囲で低い(確率レベルに近い)にもかかわらず, 様々な機械学習モデルで精度が向上することが示唆された。
論文 参考訳（メタデータ） (2026-01-12T09:50:15Z) - FEANEL: A Benchmark for Fine-Grained Error Analysis in K-12 English Writing [68.23874413455594]
本稿では,英語学習者のための細粒度誤り解析(FEANEL)ベンチマークを提案する。
ベンチマークは、小学生と中学生が書いた1000のエッセイから成っている。
各エラーは言語教育の専門家によって注釈付けされ、彼らが共同開発した音声に基づく分類法を用いて、タイプ、重大度、説明的フィードバックによって分類される。
論文 参考訳（メタデータ） (2025-11-28T05:17:45Z) - FLAWS: A Benchmark for Error Identification and Localization in Scientific Papers [10.04850395402571]
エラーの特定とローカライゼーションは、ピアレビューにおける中核的なタスクである。
大規模言語モデル(LLM)の最近の進歩は、そのような評価タスクをサポートする可能性への関心を喚起している。
レビューシステムにおけるLSMの利用が増加しているにもかかわらず、エラーを特定できる能力はいまだに未調査のままである。
論文 参考訳（メタデータ） (2025-11-26T19:19:44Z) - Error Classification of Large Language Models on Math Word Problems: A Dynamically Adaptive Framework [79.40678802098026]
数学の単語問題は、大規模言語モデルの推論能力を評価するための重要なベンチマークとなる。
現在のエラー分類法は静的および事前定義されたカテゴリに依存している。
本稿では,共通なエラーパターンを明示的なガイダンスとして組み込んだEAP(Error-Aware Prompting)を提案する。
論文 参考訳（メタデータ） (2025-01-26T16:17:57Z) - FactEHR: A Dataset for Evaluating Factuality in Clinical Notes Using LLMs [3.919419934122265]
FactEHRは,3つの病院システムから4つの病院システムにまたがる2,168件の臨床記録の文書的事実分解からなるNLIデータセットである。
我々は, LLMの細部評価から定性解析まで, 異なる軸上の生成事実を評価する。
その結果、臨床テキストの事実検証を支援するため、LCM機能の改善の必要性が浮き彫りになった。
論文 参考訳（メタデータ） (2024-12-17T00:07:05Z) - Vulnerability of LLMs to Vertically Aligned Text Manipulations [130.54118945532898]
垂直テキスト入力は、数学計算や単語ベースのスドクパズルなど、様々な現実世界のアプリケーションでよく見られる。
近年の研究では、エンコーダベースのモデルで単語を垂直に整列させるような入力形式の変更は、テキスト分類タスクにおいて大幅に精度を低下させることが示されている。
論文 参考訳（メタデータ） (2024-10-26T00:16:08Z) - Causal Micro-Narratives [62.47217054314046]
テキストから因果マイクロナラティブを分類する新しい手法を提案する。
これらの物語は、対象対象の因果関係と/または効果の文レベルの説明である。
論文 参考訳（メタデータ） (2024-10-07T17:55:10Z) - Comparing Hallucination Detection Metrics for Multilingual Generation [62.97224994631494]
本稿では,各言語にまたがって生成した伝記要約における幻覚を,様々な事実の幻覚検出指標がいかによく識別するかを評価する。
自動測度が相互にどのように相関するか, 事実判断に一致しているかを比較検討した。
我々の分析によると、語彙指標は非効率であるが、NLIベースのメトリクスはよく機能し、多くの設定における人間のアノテーションと相関し、しばしば教師付きモデルよりも優れている。
論文 参考訳（メタデータ） (2024-02-16T08:10:34Z) - FLEEK: Factual Error Detection and Correction with Evidence Retrieved
from External Knowledge [23.03341930072774]
FLEEKはテキストから事実を自動抽出するプロトタイプツールである。
外部の知識ソースから証拠を収集し、各クレームの事実性を評価し、特定されたエラーに対する修正を提案する。
論文 参考訳（メタデータ） (2023-10-26T03:28:30Z) - A New Benchmark and Reverse Validation Method for Passage-level
Hallucination Detection [63.56136319976554]
大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。
本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。
提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
論文 参考訳（メタデータ） (2023-10-10T10:14:59Z) - FELM: Benchmarking Factuality Evaluation of Large Language Models [40.78878196872095]
本稿では,Felmと呼ばれる大規模言語モデルのファクチュアリティ評価のためのベンチマークを紹介する。
我々は,大規模言語モデルから生成された応答を収集し,微粒な方法で事実ラベルを注釈付けする。
その結果,検索は事実性評価に役立つが,現在のLCMは事実の誤りを忠実に検出するには不十分であることがわかった。
論文 参考訳（メタデータ） (2023-10-01T17:37:31Z) - On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。
我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。
私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
論文 参考訳（メタデータ） (2022-12-20T06:24:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。