論文の概要: Evaluating Factuality in Text Simplification
- arxiv url: http://arxiv.org/abs/2204.07562v1
- Date: Fri, 15 Apr 2022 17:37:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-18 15:24:55.072666
- Title: Evaluating Factuality in Text Simplification
- Title(参考訳): テキスト簡易化におけるファクチュアリティの評価
- Authors: Ashwin Devaraj, William Sheffield, Byron C. Wallace, Junyi Jessy Li
- Abstract要約: 標準的な単純化データセットから抽出された参照と最先端のモデル出力の両方を解析するために,エラーの分類を導入する。
既存の評価指標では捉えられないエラーが、両方に現れることがよくあります。
- 参考スコア(独自算出の注目度): 43.94402649899681
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated simplification models aim to make input texts more readable. Such
methods have the potential to make complex information accessible to a wider
audience, e.g., providing access to recent medical literature which might
otherwise be impenetrable for a lay reader. However, such models risk
introducing errors into automatically simplified texts, for instance by
inserting statements unsupported by the corresponding original text, or by
omitting key information. Providing more readable but inaccurate versions of
texts may in many cases be worse than providing no such access at all. The
problem of factual accuracy (and the lack thereof) has received heightened
attention in the context of summarization models, but the factuality of
automatically simplified texts has not been investigated. We introduce a
taxonomy of errors that we use to analyze both references drawn from standard
simplification datasets and state-of-the-art model outputs. We find that errors
often appear in both that are not captured by existing evaluation metrics,
motivating a need for research into ensuring the factual accuracy of automated
simplification models.
- Abstract(参考訳): 自動単純化モデルは入力テキストをより読みやすくすることを目的としている。
このような手法は、例えば最近の医学文献へのアクセスを提供するなど、より広い読者に複雑な情報をアクセスできるようにする可能性がある。
しかし、そのようなモデルは、例えば、対応する原文によって否定された文を挿入したり、キー情報を省略したりすることで、自動的に単純化されたテキストにエラーを導入するリスクを負う。
より読みやすいが不正確なテキストを提供することは、多くの場合、そのようなアクセスを提供しないよりも悪い。
要約モデルでは, 事実精度の問題(およびその欠如)が注目されているが, 自動簡易テキストの事実性については検討されていない。
我々は、標準単純化データセットと最先端モデルの出力から引き出された参照を解析するために使用するエラーの分類法を紹介する。
既存の評価指標によって捉えられていない2つのエラーによく現れ、自動化された単純化モデルの事実的正確性を保証する研究の必要性を動機付けている。
関連論文リスト
- Detecting Errors through Ensembling Prompts (DEEP): An End-to-End LLM Framework for Detecting Factual Errors [11.07539342949602]
本稿では,テキスト要約における事実誤り検出のためのエンドツーエンドフレームワークを提案する。
我々のフレームワークは、様々なLCMプロンプトを使用して、事実の矛盾を識別する。
我々は、アンサンブルされたモデルを校正し、テキストが実際に一貫した、あるいは幻覚のない、経験的に正確な確率を生成する。
論文 参考訳(メタデータ) (2024-06-18T18:59:37Z) - Verifying the Robustness of Automatic Credibility Assessment [79.08422736721764]
テキスト分類法は信頼性の低い内容を検出する手段として広く研究されている。
入力テキストの無意味な変更は、モデルを誤解させることがある。
偽情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAを紹介する。
論文 参考訳(メタデータ) (2023-03-14T16:11:47Z) - Label-Descriptive Patterns and their Application to Characterizing
Classification Errors [31.272875287136426]
最先端のディープラーニング手法は多くのタスクで人間のようなパフォーマンスを達成するが、それでもエラーを犯す。
これらのエラーを容易に解釈可能な言葉で特徴付けることは、モデルが体系的なエラーを起こす傾向にあるかどうかの洞察を与えるだけでなく、モデルを実行し改善する方法を与える。
本稿では,予測の正しさに応じて分割された入力データを簡潔に記述するパターンの小さなセットをマイニングすることにより,任意の分類器に対して,任意の分類を行うことができる手法を提案する。
論文 参考訳(メタデータ) (2021-10-18T19:42:21Z) - Document-Level Text Simplification: Dataset, Criteria and Baseline [75.58761130635824]
文書レベルのテキスト単純化の新しいタスクを定義し,検討する。
Wikipediaダンプに基づいて、我々はまずD-Wikipediaという大規模なデータセットを構築した。
本稿では,文書レベルの単純化作業に適したD-SARIと呼ばれる新しい自動評価指標を提案する。
論文 参考訳(メタデータ) (2021-10-11T08:15:31Z) - Fine-tuning GPT-3 for Russian Text Summarization [77.34726150561087]
本稿では,テキストを要約するruGPT3(ruGPT3)機能について紹介し,それに対応する人文要約を用いてロシア語ニュースのコーパスを微調整する。
得られたテキストを一連のメトリクスで評価し、アーキテクチャや損失関数に付加的な変更を加えることなく、我々のソリューションが最先端のモデルの性能を上回ることができることを示す。
論文 参考訳(メタデータ) (2021-08-07T19:01:40Z) - A Token-level Reference-free Hallucination Detection Benchmark for
Free-form Text Generation [50.55448707570669]
本稿ではトークンレベルの参照なし幻覚検出タスクとHaDesというアノテーション付きデータセットを提案する。
このデータセットを作成するために、まず英語のウィキペディアから抽出された大量のテキストセグメントを摂り込み、それからクラウドソースアノテーションで検証する。
論文 参考訳(メタデータ) (2021-04-18T04:09:48Z) - Simple-QE: Better Automatic Quality Estimation for Text Simplification [22.222195626377907]
事前要約QE作業から適合したBERTに基づく品質推定(QE)モデルであるSimple-QEを提案する。
単純QEは人的品質判断とよく相関していることを示す。
また,人文テキストの複雑さを正確に予測するために,この手法を適用できることも示している。
論文 参考訳(メタデータ) (2020-12-22T22:02:37Z) - ASSET: A Dataset for Tuning and Evaluation of Sentence Simplification
Models with Multiple Rewriting Transformations [97.27005783856285]
本稿では,英語で文の単純化を評価するための新しいデータセットであるASSETを紹介する。
ASSETの単純化は、タスクの他の標準評価データセットと比較して、単純さの特徴を捉えるのに優れていることを示す。
論文 参考訳(メタデータ) (2020-05-01T16:44:54Z) - Text as Environment: A Deep Reinforcement Learning Text Readability
Assessment Model [2.826553192869411]
最先端のテキスト可読性評価モデルの効率は、深層強化学習モデルを用いてさらに改善することができる。
WeebitとCambridge ExamsのモデルとBERTテキスト可読性モデルのような最先端のモデルを比較すると、他のモデルよりもはるかに少ない入力テキストで最先端の精度を達成できることが示される。
論文 参考訳(メタデータ) (2019-12-12T13:54:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。