論文の概要: Prompted Zero-Shot Multi-label Classification of Factual Incorrectness
in Machine-Generated Summaries
- arxiv url: http://arxiv.org/abs/2312.01087v1
- Date: Sat, 2 Dec 2023 09:37:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 19:17:53.148439
- Title: Prompted Zero-Shot Multi-label Classification of Factual Incorrectness
in Machine-Generated Summaries
- Title（参考訳）: 機械生成要約における事実的誤りのゼロショットマルチラベル分類
- Authors: Aniket Deroy, Subhankar Maity, Saptarshi Ghosh
- Abstract要約: 本稿では,誤りを誤表現,不正確な量または測定,偽帰属,偽帰属の4つのタイプに分類するプロンプトベース分類システムを提案する。
その結果,本手法は,分類システムの改善の余地はあるものの,要約中の誤りの種類をある程度検出できることが示唆された。
- 参考スコア（独自算出の注目度）: 2.0934752540614006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study addresses the critical issue of factual inaccuracies in
machine-generated text summaries, an increasingly prevalent issue in
information dissemination. Recognizing the potential of such errors to
compromise information reliability, we investigate the nature of factual
inconsistencies across machine-summarized content. We introduce a prompt-based
classification system that categorizes errors into four distinct types:
misrepresentation, inaccurate quantities or measurements, false attribution,
and fabrication. The participants are tasked with evaluating a corpus of
machine-generated summaries against their original articles. Our methodology
employs qualitative judgements to identify the occurrence of factual
distortions. The results show that our prompt-based approaches are able to
detect the type of errors in the summaries to some extent, although there is
scope for improvement in our classification systems.
- Abstract（参考訳）: 本研究は,機械生成テキスト要約における事実的不正確性に関する批判的な問題に対処する。
このような誤りが情報の信頼性を損なう可能性を認識し、機械要約コンテンツにおける現実的不整合の性質について検討する。
誤りを誤表現,不正確な量や測定,誤帰属,生成の4つのタイプに分類する,プロンプトに基づく分類システムを提案する。
参加者は、オリジナルの記事に対して、機械生成サマリーのコーパスを評価する。
本手法では,実際の歪みの発生を定性的な判断で識別する。
その結果,本手法は,分類システムの改善の余地はあるものの,要約中の誤りの種類をある程度検出できることが示唆された。
関連論文リスト
- FactLens: Benchmarking Fine-Grained Fact Verification [6.814173254027381]
我々は、複雑なクレームを個別の検証のためにより小さなサブステートに分割する、きめ細かい検証へのシフトを提唱する。
我々は,ファクトレンス(FactLens)という,ファクトレンス(FactLens)という,詳細な事実検証のベンチマークを紹介した。
この結果から,FactLens自動評価器と人的判断との整合性を示し,評価性能に対する準定値特性の影響について考察した。
論文 参考訳（メタデータ） (2024-11-08T21:26:57Z) - What's under the hood: Investigating Automatic Metrics on Meeting Summarization [7.234196390284036]
会議要約は、オンライン交流の増加を考慮した重要な課題となっている。
現在のデフォルトのメトリクスは、観測可能なエラーをキャプチャするのに苦労しており、相関が弱い。
特定のエラーに正確に反応するのはサブセットのみであり、ほとんどの相関関係は、エラーが要約品質に与える影響を反映していないか、あるいは失敗していることを示している。
論文 参考訳（メタデータ） (2024-04-17T07:15:07Z) - Understanding and Mitigating Classification Errors Through Interpretable
Token Patterns [58.91023283103762]
容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。
正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。
提案手法であるPremiseが実際によく動作することを示す。
論文 参考訳（メタデータ） (2023-11-18T00:24:26Z) - Interpretable Automatic Fine-grained Inconsistency Detection in Text
Summarization [56.94741578760294]
本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。
要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
論文 参考訳（メタデータ） (2023-05-23T22:11:47Z) - Zero-shot Faithful Factual Error Correction [53.121642212060536]
事実の誤りを忠実に訂正することは、テキストの知識基盤の整合性を維持し、シーケンス・ツー・シーケンス・モデルにおける幻覚を防ぐために重要である。
提案するゼロショットフレームワークは,入力クレームに関する質問を定式化し,与えられたエビデンスにおける正しい回答を求め,そのエビデンスとの整合性に基づいて各補正の忠実さを評価する。
論文 参考訳（メタデータ） (2023-05-13T18:55:20Z) - Understanding Factual Errors in Summarization: Errors, Summarizers,
Datasets, Error Detectors [105.12462629663757]
本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。
本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
論文 参考訳（メタデータ） (2022-05-25T15:26:48Z) - Resolving label uncertainty with implicit posterior models [71.62113762278963]
本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。
異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
論文 参考訳（メタデータ） (2022-02-28T18:09:44Z) - Label-Descriptive Patterns and their Application to Characterizing
Classification Errors [31.272875287136426]
最先端のディープラーニング手法は多くのタスクで人間のようなパフォーマンスを達成するが、それでもエラーを犯す。
これらのエラーを容易に解釈可能な言葉で特徴付けることは、モデルが体系的なエラーを起こす傾向にあるかどうかの洞察を与えるだけでなく、モデルを実行し改善する方法を与える。
本稿では,予測の正しさに応じて分割された入力データを簡潔に記述するパターンの小さなセットをマイニングすることにより,任意の分類器に対して,任意の分類を行うことができる手法を提案する。
論文 参考訳（メタデータ） (2021-10-18T19:42:21Z) - Understanding Factuality in Abstractive Summarization with FRANK: A
Benchmark for Factuality Metrics [17.677637487977208]
現代の要約モデルは、高度に流れるが、実際には信頼できない出力を生成する。
一般的なベンチマークがないため、自動生成したサマリーの事実性を測定するためのメトリクスを比較することはできない。
我々は,事実誤りの類型を考案し,それを用いて,最先端の要約システムから生成された要約の人間のアノテーションを収集する。
論文 参考訳（メタデータ） (2021-04-27T17:28:07Z) - Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。
本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。
この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文 参考訳（メタデータ） (2020-04-13T05:23:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。