論文の概要: QuestGen: Effectiveness of Question Generation Methods for Fact-Checking Applications

• arxiv url: http://arxiv.org/abs/2407.21441v1
• Date: Wed, 31 Jul 2024 08:44:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 18:22:17.981982
• Title: QuestGen: Effectiveness of Question Generation Methods for Fact-Checking Applications
• Title（参考訳）: QuestGen: Fact-Checking アプリケーションにおける質問生成手法の有効性
• Authors: Rivik Setty, Vinay Setty,
• Abstract要約: 機械学習による質問は、事実確認のクレームに有効であることを示す。 意外なことに、機械による質問で得られた証拠は、人間が書いた質問よりも、事実チェックにかなり効果的であることが証明されている。
• 参考スコア（独自算出の注目度）: 1.6804613362826175
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Verifying fact-checking claims poses a significant challenge, even for humans. Recent approaches have demonstrated that decomposing claims into relevant questions to gather evidence enhances the efficiency of the fact-checking process. In this paper, we provide empirical evidence showing that this question decomposition can be effectively automated. We demonstrate that smaller generative models, fine-tuned for the question generation task using data augmentation from various datasets, outperform large language models by up to 8%. Surprisingly, in some cases, the evidence retrieved using machine-generated questions proves to be significantly more effective for fact-checking than that obtained from human-written questions. We also perform manual evaluation of the decomposed questions to assess the quality of the questions generated.
• Abstract（参考訳）: 事実チェックの主張を検証することは、人間にとっても大きな課題となる。 近年のアプローチでは、証拠を収集するために主張を関連する問題に分解することで、事実確認プロセスの効率が向上することが示されている。 本稿では,この問題の分解を効果的に自動化できることを示す実証的証拠を提供する。 様々なデータセットからのデータ拡張を用いて質問生成タスクを微調整したより小さな生成モデルが、最大8%の精度で大きな言語モデルより優れていることを示す。 意外なことに、機械による質問で得られた証拠は、人間が書いた質問よりも、事実チェックにかなり効果的であることが証明されている。 また,分解された質問を手動で評価し,生成した質問の質を評価する。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• RAG-ConfusionQA: A Benchmark for Evaluating LLMs on Confusing Questions [52.33835101586687]
  会話AIエージェントはRetrieval Augmented Generation(RAG)を使用して、ユーザからの問い合わせに対して検証可能なドキュメント地上応答を提供する。 本稿では,与えられた文書コーパスから,文脈に乱れた多様な質問を効率的に生成する,新しい合成データ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• Enhancing Numerical Reasoning with the Guidance of Reliable Reasoning Processes [55.2326738851157]
  Enhancing NumeriCal reasOning with Reliable procEsses (Encore)を導入する。 我々は、モデルが合成データを用いて推論プロセスの生成を学習するのに役立つ一連の事前学習タスクを提案する。 実験の結果、Encoreは平均1.8%の5つの実験データセットに改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-02-16T13:02:11Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Varifocal Question Generation for Fact-checking [15.244813462174614]
  与えられたクレーム内の異なる焦点点に基づいて質問を生成する方法であるVarifocalを提案する。 本手法は, ファクトチェックによる質問生成データセットにおいて, 過去の作業よりも優れていた。
  論文  参考訳（メタデータ） (2022-10-22T09:41:47Z)
• Reinforcement Learning for Abstractive Question Summarization with Question-aware Semantic Rewards [20.342580435464072]
  本稿では,抽象的な質問要約のための強化学習に基づくフレームワークを提案する。 i)質問型識別と(ii)質問焦点認識の下流タスクから得られる2つの新しい報酬を提案する。 これらの報酬は意味論的に有効な質問の生成を確実にし、質問要約に重要な医療機関/焦点を取り入れることを奨励する。
  論文  参考訳（メタデータ） (2021-07-01T02:06:46Z)
• A New Score for Adaptive Tests in Bayesian and Credal Networks [64.80185026979883]
  テストは、そのシークエンスと質問数とが、テイカーの推定スキルに基づいて動的に調整されるときに適応する。 後部確率のモードに基づいて、別のスコアの族を提示するので、説明し易い。
  論文  参考訳（メタデータ） (2021-05-25T20:35:42Z)
• Determining Question-Answer Plausibility in Crowdsourced Datasets Using Multi-Task Learning [10.742152224470317]
  本稿では,品質分析とデータクリーニングのための新しいタスクを提案する。 ソーシャルメディア利用者からのマシンやユーザ生成の質問とクラウドソースによる回答が与えられた場合、質問と回答が有効かどうかを判断する。 クリーンで使いやすい質問応答データセットを生成するためのモデルの有効性を評価する。
  論文  参考訳（メタデータ） (2020-11-10T04:11:44Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)
• Asking Questions the Human Way: Scalable Question-Answer Generation from Text Corpus [23.676748207014903]
  問合せ型質問生成(ACS-QG)を提案する。 ラベルなしテキストコーパスから高品質で多様な質問応答ペアを大規模に自動生成することを目的としている。 ウィキペディアで見つかった100万の文から、280万の質保証された質問応答ペアを生成することができる。
  論文  参考訳（メタデータ） (2020-01-27T05:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。