論文の概要: WikiCheck: An end-to-end open source Automatic Fact-Checking API based on Wikipedia

• arxiv url: http://arxiv.org/abs/2109.00835v1
• Date: Thu, 2 Sep 2021 10:45:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 08:33:33.811571
• Title: WikiCheck: An end-to-end open source Automatic Fact-Checking API based on Wikipedia
• Title（参考訳）: WikiCheck: WikipediaをベースとしたオープンソースのAutomatic Fact-Checking API
• Authors: Mykola Trokhymovych and Diego Saez-Trumper
• Abstract要約: 我々は、自動Fact-checkingのためのState-of-the-Artデータセットとソリューションについてレビューする。 モデルの性能と一般化を改善するデータフィルタリング手法を提案する。 本稿では,ウィキペディアの知識ベースに基づいたファクトチェックシステムであるtextitWikiCheck APIを提案する。
• 参考スコア（独自算出の注目度）: 1.14219428942199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the growth of fake news and disinformation, the NLP community has been working to assist humans in fact-checking. However, most academic research has focused on model accuracy without paying attention to resource efficiency, which is crucial in real-life scenarios. In this work, we review the State-of-the-Art datasets and solutions for Automatic Fact-checking and test their applicability in production environments. We discover overfitting issues in those models, and we propose a data filtering method that improves the model's performance and generalization. Then, we design an unsupervised fine-tuning of the Masked Language models to improve its accuracy working with Wikipedia. We also propose a novel query enhancing method to improve evidence discovery using the Wikipedia Search API. Finally, we present a new fact-checking system, the \textit{WikiCheck} API that automatically performs a facts validation process based on the Wikipedia knowledge base. It is comparable to SOTA solutions in terms of accuracy and can be used on low-memory CPU instances.
• Abstract（参考訳）: 偽ニュースや偽情報の増加に伴い、nlpコミュニティは人間による事実確認の支援に取り組んでいる。 しかし、ほとんどの学術研究は、実際のシナリオにおいて重要な資源効率に注意を払わずにモデル精度に焦点を当てている。 本稿では,実運用環境での自動ファクトチェックを行うための最先端のデータセットとソリューションをレビューし,その適用性をテストする。 我々は,これらのモデルにおける過度に適合する問題を発見し,モデルの性能と一般化を改善するデータフィルタリング手法を提案する。 次に,wikipediaの精度を向上させるために,マスク言語モデルの教師なし微調整をデザインする。 また,ウィキペディア検索APIを用いたエビデンス発見を改善する新しいクエリ拡張手法を提案する。 最後に,ウィキペディアの知識ベースに基づくファクトチェック処理を自動的に行う新しいファクトチェックシステムである「textit{WikiCheck} API」を提案する。 精度はSOTAソリューションに匹敵し、低メモリのCPUインスタンスで使用することができる。

関連論文リスト

• FactAlign: Long-form Factuality Alignment of Large Language Models [35.067998820937284]
  大規模言語モデルは次世代の情報アクセスエンジンとして大きな可能性を示している。 本稿では,FactAlignを提案する。FactAlignは,長文応答の現実性を高めるために設計された,新しいアライメントフレームワークである。 オープンドメインのプロンプトと情報検索に関する実験により、FactAlignはLLM応答の事実精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-10-02T16:03:13Z)
• Fact or Fiction? Improving Fact Verification with Knowledge Graphs through Simplified Subgraph Retrievals [0.0]
  本稿では, 証拠が構造化知識グラフの形で存在するデータセット上で, クレームを検証するための効率的な方法を提案する。 また,エビデンス検索プロセスの簡略化により,計算資源の削減とテストセット精度の向上を実現するモデルの構築が可能となる。
  論文  参考訳（メタデータ） (2024-08-14T10:46:15Z)
• Outdated Issue Aware Decoding for Reasoning Questions on Edited Knowledge [93.54427119091174]
  本稿では,従来のISsueを意識した復号化手法を提案する。 元のモデルと編集されたモデルとの確率分布の差を捉える。 我々は、古くなった問題を緩和するために、編集されたモデルにおけるトークン予測の違いを増幅する。
  論文  参考訳（メタデータ） (2024-06-05T03:00:15Z)
• FactGenius: Combining Zero-Shot Prompting and Fuzzy Relation Mining to Improve Fact Verification with Knowledge Graphs [0.0]
  FactGeniusは,大規模言語モデルのゼロショットプロンプトと知識グラフ上のファジィテキストマッチングを組み合わせることで,ファクトチェックを強化する新しい手法である。 事実検証のベンチマークデータセットであるFactKG上でのFactGeniusの評価は、既存のベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-06-03T13:24:37Z)
• GPT-HateCheck: Can LLMs Write Better Functional Tests for Hate Speech Detection? [50.53312866647302]
  HateCheckは、合成データに対してきめ細かいモデル機能をテストするスイートである。 GPT-HateCheckは,スクラッチからより多彩で現実的な機能テストを生成するフレームワークである。 クラウドソースのアノテーションは、生成されたテストケースが高品質であることを示しています。
  論文  参考訳（メタデータ） (2024-02-23T10:02:01Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• FactLLaMA: Optimizing Instruction-Following Language Models with External Knowledge for Automated Fact-Checking [10.046323978189847]
  本稿では,命令追従言語モデルと外部エビデンス検索を併用して,ファクトチェック性能を向上させることを提案する。 我々のアプローチは、与えられた入力クレームに関する適切な証拠を検索するために検索エンジンを活用することである。 そして、この証拠を用いて、LLaMAと呼ばれるオープンソースの言語モデルを作成し、入力クレームの正確性をより正確に予測できるようにする。
  論文  参考訳（メタデータ） (2023-09-01T04:14:39Z)
• WIKITIDE: A Wikipedia-Based Timestamped Definition Pairs Dataset [12.707584479922833]
  ウィキタイデはウィキペディアから抽出したタイムスタンプ定義のペアから抽出したデータセットである。 我々の結果は、WikiTiDeのシードバージョンをブートストラップすると、より微調整されたモデルが得られることを示唆している。
  論文  参考訳（メタデータ） (2023-08-07T13:38:54Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
  ドメイン分類は自然言語理解(NLU)の基本課題である 既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。 本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:46:16Z)
• What Stops Learning-based 3D Registration from Working in the Real World? [53.68326201131434]
  この研究は、3Dポイントのクラウド登録失敗の原因を特定し、その原因を分析し、解決策を提案する。 最終的に、これは最も実践的な3D登録ネットワーク(BPNet)に変換される。 我々のモデルは微調整をせずに実データに一般化し、商用センサで得られた見えない物体の点雲上で最大67%の精度に達する。
  論文  参考訳（メタデータ） (2021-11-19T19:24:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。