論文の概要: Fact Checking with Insufficient Evidence

• arxiv url: http://arxiv.org/abs/2204.02007v1
• Date: Tue, 5 Apr 2022 06:12:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-06 20:44:19.336643
• Title: Fact Checking with Insufficient Evidence
• Title（参考訳）: 不十分な証拠による事実確認
• Authors: Pepa Atanasova, Jakob Grue Simonsen, Christina Lioma, Isabelle Augenstein
• Abstract要約: 本稿では,新しいタスクを導入し,それを3つの主要な貢献で進めることで,情報事実チェックモデルがいかに十分と考えるかを考察する。 異なるトランスフォーマーアーキテクチャを持つ3つのトレーニングモデルに基づいて, FC の残余の証拠を考慮した場合の同定を行う。 第2に、省略された証拠がFCにとって重要であるかどうかをアノテータに問うことにより、省略された証拠を持つFCに対して、新たな診断データセットであるSufficientFactsが生成される。
• 参考スコア（独自算出の注目度）: 52.879658637466605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automating the fact checking (FC) process relies on information obtained from external sources. In this work, we posit that it is crucial for FC models to make veracity predictions only when there is sufficient evidence and otherwise indicate when it is not enough. To this end, we are the first to study what information FC models consider sufficient by introducing a novel task and advancing it with three main contributions. First, we conduct an in-depth empirical analysis of the task with a new fluency-preserving method for omitting information from the evidence at the constituent and sentence level. We identify when models consider the remaining evidence (in)sufficient for FC, based on three trained models with different Transformer architectures and three FC datasets. Second, we ask annotators whether the omitted evidence was important for FC, resulting in a novel diagnostic dataset, SufficientFacts, for FC with omitted evidence. We find that models are least successful in detecting missing evidence when adverbial modifiers are omitted (21% accuracy), whereas it is easiest for omitted date modifiers (63% accuracy). Finally, we propose a novel data augmentation strategy for contrastive self-learning of missing evidence by employing the proposed omission method combined with tri-training. It improves performance for Evidence Sufficiency Prediction by up to 17.8 F1 score, which in turn improves FC performance by up to 2.6 F1 score.
• Abstract（参考訳）: 事実チェック(FC)プロセスの自動化は、外部ソースから得られる情報に依存する。 本研究は,十分な証拠が得られない場合にのみ,検証精度の予測を行うことがFCモデルにとって重要であると仮定する。 この目的のために,我々は,新規タスクの導入と3つの貢献により,情報fcモデルが考慮すべき事項を初めて検討する。 まず, 課題の詳細な実験分析を, 構成および文レベルの証拠からの情報を削除するための新しい流布保存法を用いて実施する。 異なるトランスフォーマーアーキテクチャと3つのFCデータセットを持つ3つのトレーニングモデルに基づいて,残りの証拠をFCに十分とみなすモデルを同定する。 第2に,この省略された証拠がfcにとって重要であるかどうかを注釈官に問うことで,fcの新たな診断データセットである enoughfacts を省略した。 補足修飾子を省略した場合の欠落証拠の検出に最も成功したモデル(21%の精度)であるのに対し、省略された日付修飾子(63%の精度)は最も容易である。 最後に, 提案手法とトライトレーニングを組み合わせることで, 欠落した証拠の対比自己学習のための新しいデータ強化戦略を提案する。 これはEvidence Sufficiency Predictionのパフォーマンスを最大17.8F1スコアで改善し、FCのパフォーマンスを最大2.6F1スコアで改善する。

関連論文リスト

• Robust and Explainable Fine-Grained Visual Classification with Transfer Learning: A Dual-Carriageway Framework [0.799543372823325]
  我々は、Dual-Carriageway Framework (DCF) という自動ベストスーツトレーニングソリューション検索フレームワークを提案する。 3つの畳み込みニューラルネットワーク(ResNet18、ResNet34、Inception-v3)を用いてDCFの有効性を検証する。 その結果、既存のデータセットと新しいデータセットでそれぞれ2.13%、1.23%の微調整パスのパフォーマンスが向上した。
  論文  参考訳（メタデータ） (2024-05-09T15:41:10Z)
• Federated Causal Discovery from Heterogeneous Data [70.31070224690399]
  任意の因果モデルと異種データに対応する新しいFCD法を提案する。 これらのアプローチには、データのプライバシを保護するために、生データのプロキシとして要約統計を構築することが含まれる。 提案手法の有効性を示すために, 合成および実データを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-02-20T18:53:53Z)
• Heterogeneous Graph Reasoning for Fact Checking over Texts and Tables [22.18384189336634]
  HeterFCは、非構造化情報および構造化情報に対するFact Checkingのための単語レベルの不均一グラフベースのモデルである。 我々は,レーショナルグラフニューラルネットワークによる情報伝達,クレームとエビデンス間の相互作用を行う。 本稿では,エビデンス検索における潜在的な不正確性を考慮したマルチタスク損失関数を提案する。
  論文  参考訳（メタデータ） (2024-02-20T14:10:40Z)
• EntGPT: Linking Generative Large Language Models with Knowledge Bases [9.067856411512427]
  大規模言語モデルが実際に正しい出力を生成する能力は、いまだに探索されていない。 我々は3段階のハードプロンピング法を設計し,LLMのED性能を教師付き微調整なしで探究する。 我々は、同様のプロンプトと応答で、インストラクションチューニング(IT)により、知識基盤能力をさらに向上する。
  論文  参考訳（メタデータ） (2024-02-09T19:16:27Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Improving the Adversarial Robustness of NLP Models by Information Bottleneck [112.44039792098579]
  非破壊機能は敵によって容易に操作でき、NLPモデルを騙すことができる。 本研究では,情報ボトルネック理論を用いて,タスク固有のロバストな特徴を捕捉し,非ロバストな特徴を除去する可能性を検討する。 情報ボトルネックに基づく手法を用いてトレーニングしたモデルでは,ロバストな精度で大幅な改善が達成できることを示す。
  論文  参考訳（メタデータ） (2022-06-11T12:12:20Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• MDFM: Multi-Decision Fusing Model for Few-Shot Learning [16.47647579893923]
  本稿では, モデルの有効性とロバスト性を高めるために, MDFM (Multi-Decision Fusing Model) を提案する。 提案手法を5つのベンチマークデータセットで評価し,最新技術と比較して3.4%-7.3%の大幅な改善を実現した。
  論文  参考訳（メタデータ） (2021-12-01T18:13:09Z)
• Dynamically Mitigating Data Discrepancy with Balanced Focal Loss for Replay Attack Detection [10.851348154870852]
  我々は、アンチ・スプーフィングにおいては、モデリングプロセスにおいて容易に分類されたサンプルよりも識別不能なサンプルに注意が必要であると論じている。 本研究は, サンプル自体の特性に基づいて, 損失を動的にスケールする訓練目的として, バランスの取れた焦点損失関数を活用することを提案する。 相補的な特徴により、3種類の機能しか持たない融合系は他のシステムよりも22.5%、min-tDCFが7%、EERが7%向上する。
  論文  参考訳（メタデータ） (2020-06-25T17:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。