論文の概要: Pipeline and Dataset Generation for Automated Fact-checking in Almost Any Language

• arxiv url: http://arxiv.org/abs/2312.10171v1
• Date: Fri, 15 Dec 2023 19:43:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 18:13:23.228939
• Title: Pipeline and Dataset Generation for Automated Fact-checking in Almost Any Language
• Title（参考訳）: ほぼどんな言語でも自動ファクトチェックのためのパイプラインとデータセット生成
• Authors: Jan Drchal and Herbert Ullrich and Tom\'a\v{s} Mlyn\'a\v{r} and V\'aclav Moravec
• Abstract要約: 本稿では,公開言語モデルとデータを活用したファクトチェック自動化パイプラインを提案する。 パイプラインは,エビデンス検索とクレームの妥当性評価という,2つの主要なモジュールで構成されている。 チェコ語、英語、ポーランド語、スロバキア語パイプラインのすべてのデータと微調整されたモデルにオープンアクセスを提供しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This article presents a pipeline for automated fact-checking leveraging publicly available Language Models and data. The objective is to assess the accuracy of textual claims using evidence from a ground-truth evidence corpus. The pipeline consists of two main modules -- the evidence retrieval and the claim veracity evaluation. Our primary focus is on the ease of deployment in various languages that remain unexplored in the field of automated fact-checking. Unlike most similar pipelines, which work with evidence sentences, our pipeline processes data on a paragraph level, simplifying the overall architecture and data requirements. Given the high cost of annotating language-specific fact-checking training data, our solution builds on the Question Answering for Claim Generation (QACG) method, which we adapt and use to generate the data for all models of the pipeline. Our strategy enables the introduction of new languages through machine translation of only two fixed datasets of moderate size. Subsequently, any number of training samples can be generated based on an evidence corpus in the target language. We provide open access to all data and fine-tuned models for Czech, English, Polish, and Slovak pipelines, as well as to our codebase that may be used to reproduce the results.We comprehensively evaluate the pipelines for all four languages, including human annotations and per-sample difficulty assessment using Pointwise V-information. The presented experiments are based on full Wikipedia snapshots to promote reproducibility. To facilitate implementation and user interaction, we develop the FactSearch application featuring the proposed pipeline and the preliminary feedback on its performance.
• Abstract（参考訳）: 本稿では,公開言語モデルとデータを活用したファクトチェック自動化パイプラインを提案する。 目的は、根拠コーパスから得られた証拠を用いて、テキストクレームの正確性を評価することである。 パイプラインは、エビデンス検索とクレーム検証評価という2つの主要なモジュールで構成されている。 私たちの主な焦点は、自動ファクトチェックの分野で探索されていないさまざまな言語でのデプロイメントの容易さです。 証拠文を扱う他の類似のパイプラインとは異なり、パイプラインは段落レベルでデータを処理し、全体的なアーキテクチャとデータ要件を簡素化します。 言語固有の事実チェックトレーニングデータをアノテートするコストが高いことから、当社のソリューションは、パイプラインの全モデルに対するデータ生成に適応して使用する、クレーム生成(qacg)メソッドに対する質問応答に基づいています。 当社の戦略は、適度なサイズの固定データセットを2つだけ機械翻訳することで、新しい言語の導入を可能にする。 その後、対象言語のエビデンスコーパスに基づいて、任意の数のトレーニングサンプルを生成することができる。 我々は、チェコ語、英語、ポーランド語、スロバキア語パイプラインのすべてのデータおよび微調整されたモデル、および結果の再現に使用されるコードベースへのオープンアクセスを提供し、人間のアノテーションやサンプルごとの難易度をポイントワイドV情報を用いて包括的に評価する。 提示された実験は、再現性を促進するために完全なwikipediaスナップショットに基づいている。 実装とユーザインタラクションを容易にするために,提案するパイプラインを特徴とするfactsearchアプリケーションとその性能に関する予備フィードバックを開発した。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• XFEVER: Exploring Fact Verification across Languages [40.1637899493061]
  本稿では,異なる言語間で事実検証モデルをベンチマークするために設計された言語間ファクト抽出と検証データセットを提案する。 我々は、Fact extract and VERificationデータセットのクレームとエビデンステキストを6言語に翻訳して構築した。 トレーニングセットと開発セットは機械翻訳を使用して翻訳され、テストセットはプロの翻訳者によって翻訳されたテキストと機械翻訳されたテキストを含む。
  論文  参考訳（メタデータ） (2023-10-25T01:20:17Z)
• GECTurk: Grammatical Error Correction and Detection Dataset for Turkish [1.804922416527064]
  文法的誤り検出・訂正(GEC)ツールは、母語話者と第二言語学習者にとって有用であることが証明されている。 合成データ生成は、そのようなデータの不足を克服するための一般的なプラクティスである。 トルコ語のためのフレキシブルで総合的なデータ生成パイプラインを提案し、20以上の専門家による文法と綴り規則をカバーしている。
  論文  参考訳（メタデータ） (2023-09-20T14:25:44Z)
• A deep Natural Language Inference predictor without language-specific training data [44.26507854087991]
  本研究では,言語固有の訓練データセットを使わずに,目的言語における文のペア間の推論関係(NLI)に対処するためのNLP手法を提案する。 我々は、同じトレーニング済みモデルの2つのインスタンスとともに、手動で翻訳される汎用翻訳データセットを利用する。 このモデルは、機械翻訳Stanford NLIテストデータセット、機械翻訳Multi-Genre NLIテストデータセット、手動翻訳RTE3-ITAテストデータセットで評価されている。
  論文  参考訳（メタデータ） (2023-09-06T10:20:59Z)
• Advancing Hungarian Text Processing with HuSpaCy: Efficient and Accurate NLP Pipelines [0.0]
  本稿では,ハンガリーにおける産業レベルのテキスト処理モデルについて述べる。 モデルはspurCyフレームワークで実装され、HuSpaCyツールキットを拡張した。 すべての実験は再現可能であり、パイプラインはパーミッシブライセンスの下で自由に利用できる。
  論文  参考訳（メタデータ） (2023-08-24T08:19:51Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• An Open Dataset and Model for Language Identification [84.15194457400253]
  マクロ平均F1スコア0.93、偽陽性率0.033を201言語で達成するLIDモデルを提案する。 モデルとデータセットの両方を研究コミュニティに公開しています。
  論文  参考訳（メタデータ） (2023-05-23T08:43:42Z)
• CHEF: A Pilot Chinese Dataset for Evidence-Based Fact-Checking [55.75590135151682]
  CHEFは、10万件の現実世界のクレームに関する最初のChenese EvidenceベースのFact-checkingデータセットである。 このデータセットは、政治から公衆衛生まで、複数のドメインをカバーし、インターネットから取得した注釈付きの証拠を提供する。
  論文  参考訳（メタデータ） (2022-06-06T09:11:03Z)
• CsFEVER and CTKFacts: Czech Datasets for Fact Verification [0.0]
  自動ファクトチェック機械学習モデルのトレーニングを目的としたチェコのデータセットを2つ提示する。 最初のデータセットは、約112kのクレームを持つCsFEVERで、有名なウィキペディアベースのFEVERデータセットのチェコ語バージョンを自動生成する。 3,097件からなる2番目のデータセットCTKFactsは、約200万件のチェコのニュースエージェンシーの報道のコーパス上に構築されている。
  論文  参考訳（メタデータ） (2022-01-26T18:48:42Z)
• TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
  NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。 普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
  論文  参考訳（メタデータ） (2021-03-21T17:20:38Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。