論文の概要: Neural models for Factual Inconsistency Classification with Explanations

• arxiv url: http://arxiv.org/abs/2306.08872v1
• Date: Thu, 15 Jun 2023 06:06:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 16:22:18.090143
• Title: Neural models for Factual Inconsistency Classification with Explanations
• Title（参考訳）: 説明付き実不整合分類のためのニューラルモデル
• Authors: Tathagata Raha, Mukund Choudhary, Abhinav Menon, Harshit Gupta, KV Aditya Srivatsa, Manish Gupta, Vasudeva Varma
• Abstract要約: 言語学における既存の作業を活用して、5種類の事実的矛盾を定義する。 我々はニューラルネットワークをトレーニングし、(定義、文脈)文ペアを与えられた説明で不整合型を予測する。 提案手法は,5つのクラスにまたがる不整合型分類において87%の重み付きF1を提供する。
• 参考スコア（独自算出の注目度）: 17.214921274113284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Factual consistency is one of the most important requirements when editing high quality documents. It is extremely important for automatic text generation systems like summarization, question answering, dialog modeling, and language modeling. Still, automated factual inconsistency detection is rather under-studied. Existing work has focused on (a) finding fake news keeping a knowledge base in context, or (b) detecting broad contradiction (as part of natural language inference literature). However, there has been no work on detecting and explaining types of factual inconsistencies in text, without any knowledge base in context. In this paper, we leverage existing work in linguistics to formally define five types of factual inconsistencies. Based on this categorization, we contribute a novel dataset, FICLE (Factual Inconsistency CLassification with Explanation), with ~8K samples where each sample consists of two sentences (claim and context) annotated with type and span of inconsistency. When the inconsistency relates to an entity type, it is labeled as well at two levels (coarse and fine-grained). Further, we leverage this dataset to train a pipeline of four neural models to predict inconsistency type with explanations, given a (claim, context) sentence pair. Explanations include inconsistent claim fact triple, inconsistent context span, inconsistent claim component, coarse and fine-grained inconsistent entity types. The proposed system first predicts inconsistent spans from claim and context; and then uses them to predict inconsistency types and inconsistent entity types (when inconsistency is due to entities). We experiment with multiple Transformer-based natural language classification as well as generative models, and find that DeBERTa performs the best. Our proposed methods provide a weighted F1 of ~87% for inconsistency type classification across the five classes.
• Abstract（参考訳）: ファクト一貫性は、高品質なドキュメントを編集する際に最も重要な要件の1つである。 これは要約、質問応答、ダイアログモデリング、言語モデリングのような自動テキスト生成システムにとって非常に重要である。 それでも、自動化された事実整合性検出は、あまり研究されていない。 既存の作業は集中している (a)知識ベースを背景とした偽ニュースの発見、又は b)広い矛盾を検出すること(自然言語推論文献の一部として) しかし、文脈の知識基盤がなくても、テキストにおける事実的矛盾のタイプを検出し説明する作業は行われていない。 本稿では,言語学における既存の研究を活用し,5種類の事実矛盾を正式に定義する。 この分類に基づいて、我々はFICLE(Factual Inconsistency CLassification with Explanation)という新しいデータセットを8Kのサンプルで提供し、各サンプルは2つの文(定義と文脈)をタイプとスパンでアノテートする。 不整合がエンティティタイプに関連する場合、それは2つのレベル(粗くきめ細かい)でラベル付けされる。 さらに、このデータセットを利用して、4つのニューラルモデルのパイプラインを訓練し、(要求、コンテキスト)文ペアが与えられた場合、説明付き不整合タイプを予測する。 説明には、一貫性のないクレーム事実、一貫性のないコンテキストスパン、一貫性のないクレームコンポーネント、粗い、きめ細かいエンティティタイプが含まれる。 提案システムはまず,要求とコンテキストから不整合を予測し,不整合型と不整合型(不整合がエンティティに起因する場合)を予測する。 我々は,複数のトランスフォーマーに基づく自然言語分類と生成モデルを用いて実験を行い,DeBERTaが最適であることを確認した。 提案手法は5つのクラスにまたがる不整合型分類のための重み付きF1の約87%を提供する。

関連論文リスト

• QUITE: Quantifying Uncertainty in Natural Language Text in Bayesian Reasoning Scenarios [15.193544498311603]
  本稿では,カテゴリー的確率変数と複雑な関係を持つ実世界のベイズ推論シナリオのデータセットであるQUITEを提案する。 我々は幅広い実験を行い、論理ベースのモデルが全ての推論型において、アウト・オブ・ボックスの大規模言語モデルより優れていることを発見した。 以上の結果から,ニューロシンボリックモデルが複雑な推論を改善する上で有望な方向であることを示す。
  論文  参考訳（メタデータ） (2024-10-14T12:44:59Z)
• Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。 そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• Interpretable Automatic Fine-grained Inconsistency Detection in Text Summarization [56.94741578760294]
  本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。 要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
  論文  参考訳（メタデータ） (2023-05-23T22:11:47Z)
• Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
  既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。 我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。 実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-02-17T16:20:33Z)
• Language model acceptability judgements are not always robust to context [30.868765627701457]
  目標構文評価における言語モデルの性能の安定性について検討する。 モデル判断は、ランダムにサンプル化された言語コンテキストに置かれる場合、一般的には堅牢である。 これらのモデル性能の変化は、コンテキストとテスト入力にマッチする単純な特徴によって説明できないことを示す。
  論文  参考訳（メタデータ） (2022-12-18T00:11:06Z)
• Does Your Model Classify Entities Reasonably? Diagnosing and Mitigating Spurious Correlations in Entity Typing [29.820473012776283]
  既存のエンティティ型付けモデルは、素早い相関の問題に直面している。 既存のモデルバイアスには、参照コンテキストバイアス、語彙オーバーラップバイアス、名前付きエンティティバイアス、代名詞バイアス、依存性バイアス、一般化バイアスの6種類がある。 オリジナルのトレーニングセットをバイアスなしのトレーニングセットで強化することで、モデルは文を完全に理解せざるを得なくなる。
  論文  参考訳（メタデータ） (2022-05-25T10:34:22Z)
• Aggregating Pairwise Semantic Differences for Few-Shot Claim Veracity Classification [21.842139093124512]
  本稿では,新しいベクトルベース手法であるSEEDを導入する。 クラス内のクレーム-エビデンス対の平均意味的差異を捉えるクラス代表ベクトルをシミュレートできるという仮説に基づいて構築する。 FEVERとSCIFACTデータセットで実施された実験では、数ショット設定で競合するベースラインよりも一貫した改善が見られた。
  論文  参考訳（メタデータ） (2022-05-11T17:23:37Z)
• Counterfactual Invariance to Spurious Correlations: Why and How to Pass Stress Tests [87.60900567941428]
  素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。 機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。 因果推論ツールを用いたストレステストについて検討した。
  論文  参考訳（メタデータ） (2021-05-31T14:39:38Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Adv-BERT: BERT is not robust on misspellings! Generating nature adversarial samples on BERT [95.88293021131035]
  しかし、悪意のある敵のインスタンスがしばしば存在するのではなく、テクトナチュラルなシナリオでモデルがどのように機能するかは定かではない。 この研究は、NLPにおける最先端のTransformerスタイルモデルであるBERTの、ノイズの多いデータを扱うための頑健さを体系的に探求する。
  論文  参考訳（メタデータ） (2020-02-27T22:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。