論文の概要: Claim-Dissector: An Interpretable Fact-Checking System with Joint Re-ranking and Veracity Prediction

• arxiv url: http://arxiv.org/abs/2207.14116v1
• Date: Thu, 28 Jul 2022 14:30:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-29 11:58:07.384617
• Title: Claim-Dissector: An Interpretable Fact-Checking System with Joint Re-ranking and Veracity Prediction
• Title（参考訳）: Claim-Dissector:ジョイントリグレードとVeracity予測を備えた解釈可能なFact-Checkingシステム
• Authors: Martin Fajcik, Petr Motlicek, Pavel Smrz
• Abstract要約: Claim-Dissector: 事実チェックと事実分析のための新しい潜在変数モデル。 本システムは,FEVERデータセット上で最先端の結果が得られることを示す。 また、当社のフレームワークはトークンレベルでの関連性を識別可能であることも示しています。
• 参考スコア（独自算出の注目度）: 4.082750656756811
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present Claim-Dissector: a novel latent variable model for fact-checking and fact-analysis, which given a claim and a set of retrieved provenances allows learning jointly: (i) what are the relevant provenances to this claim (ii) what is the veracity of this claim. We propose to disentangle the per-provenance relevance probability and its contribution to the final veracity probability in an interpretable way - the final veracity probability is proportional to a linear ensemble of per-provenance relevance probabilities. This way, it can be clearly identified the relevance of which sources contributes to what extent towards the final probability. We show that our system achieves state-of-the-art results on FEVER dataset comparable to two-stage systems typically used in traditional fact-checking pipelines, while it often uses significantly less parameters and computation. Our analysis shows that proposed approach further allows to learn not just which provenances are relevant, but also which provenances lead to supporting and which toward denying the claim, without direct supervision. This not only adds interpretability, but also allows to detect claims with conflicting evidence automatically. Furthermore, we study whether our model can learn fine-grained relevance cues while using coarse-grained supervision. We show that our model can achieve competitive sentence-recall while using only paragraph-level relevance supervision. Finally, traversing towards the finest granularity of relevance, we show that our framework is capable of identifying relevance at the token-level. To do this, we present a new benchmark focusing on token-level interpretability - humans annotate tokens in relevant provenances they considered essential when making their judgement. Then we measure how similar are these annotations to tokens our model is focusing on. Our code, and dataset will be released online.
• Abstract（参考訳）: 事実チェックと事実分析のための新しい潜在変数モデルであるクレーム・ディスセクタ(クレーム・ディスセクタ)を提案する。 (i)この主張に関係のある前兆は何か (ii)この主張の真偽は何か。 提案手法は, 提案手法を用いて, 性能関連確率とその最終精度確率への寄与を解釈可能な方法で解き放つことであり, 最終精度確率は性能関連確率の線形アンサンブルに比例する。 このようにして、どのソースが最終的な確率にどの程度寄与するかを明確に特定することができる。 本研究では,従来のファクトチェックパイプラインでよく使用される2段階のシステムに匹敵するFEVERデータセットの最先端結果を実現する一方で,パラメータや計算量を大幅に削減することを示す。 分析の結果,提案手法により,どの証明が関係しているかだけでなく,どの証明が支持につながるか,あるいは主張を否定するかを直接の監督なしに学ぶことが可能であることが示唆された。 これは解釈可能性を追加するだけでなく、矛盾する証拠でクレームを自動的に検出することを可能にする。 さらに, 粗粒度監視を用いて, モデルが細粒度関連度を学習できるかどうかを検討した。 本モデルは,段落レベルの関連監督のみを用いて,競争力のある文再呼び出しを実現することができることを示す。 最後に、関連性の最も細かい粒度に目を向けて、我々のフレームワークがトークンレベルで妥当性を識別できることを示します。 そこで本研究では,トークンレベルの解釈可能性に着目した新しいベンチマークを提案する。 次に、モデルが注目しているトークンに対するアノテーションの類似度を測定します。 私たちのコードとデータセットはオンラインでリリースされます。

関連論文リスト

• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Uncertain Evidence in Probabilistic Models and Stochastic Simulators [80.40110074847527]
  我々は、不確実性を伴う観測を伴う確率論的モデルにおいて、ベイズ的推論を行うという問題について考察する。 我々は、不確実な証拠をどう解釈するかを探求し、潜伏変数の推論に関連する適切な解釈の重要性を拡大する。 我々は、不確実な証拠を説明するための具体的なガイドラインを考案し、特に一貫性に関する新しい洞察を提供する。
  論文  参考訳（メタデータ） (2022-10-21T20:32:59Z)
• Aggregating Pairwise Semantic Differences for Few-Shot Claim Veracity Classification [21.842139093124512]
  本稿では,新しいベクトルベース手法であるSEEDを導入する。 クラス内のクレーム-エビデンス対の平均意味的差異を捉えるクラス代表ベクトルをシミュレートできるという仮説に基づいて構築する。 FEVERとSCIFACTデータセットで実施された実験では、数ショット設定で競合するベースラインよりも一貫した改善が見られた。
  論文  参考訳（メタデータ） (2022-05-11T17:23:37Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• Nested Counterfactual Identification from Arbitrary Surrogate Experiments [95.48089725859298]
  観測と実験の任意の組み合わせからネスト反事実の同定について検討した。 具体的には、任意のネストされた反事実を非ネストされたものへ写像できる反ファクト的非ネスト定理(英語版)(CUT)を証明する。
  論文  参考訳（メタデータ） (2021-07-07T12:51:04Z)
• A Multi-Level Attention Model for Evidence-Based Fact Checking [58.95413968110558]
  シーケンス構造をトレーニング可能な,シンプルなモデルを提案する。 Fact extract and VERification のための大規模データセットの結果、我々のモデルはグラフベースのアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-02T05:40:12Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)
• FAIR: Fair Adversarial Instance Re-weighting [0.7829352305480285]
  本研究では,公正な予測を確実にするインスタンス重み付け関数の学習に敵対的トレーニングを利用するFair Adrial Instance Re-weighting(FAIR)手法を提案する。 我々の知る限りでは、これは、個々のインスタンスの公平性に関する解釈可能な情報を提供する重み付け関数によって、再重み付けと逆方向のアプローチをマージする最初のモデルである。
  論文  参考訳（メタデータ） (2020-11-15T10:48:56Z)
• DeSePtion: Dual Sequence Prediction and Adversarial Examples for Improved Fact-Checking [46.13738685855884]
  ファクトチェックの現在のシステムは、ファクトチェックの現実的な課題の3つのカテゴリに脆弱であることを示す。 文書選択に複数のポインタネットワークを用いて,これらの「攻撃」に対して耐性を持つように設計されたシステムを提案する。 その結果,これらの攻撃に対処する際には,証拠検索の改善が主な原因で,FEVERの最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T15:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。