論文の概要: FaxPlainAC: A Fact-Checking Tool Based on EXPLAINable Models with HumAn Correction in the Loop

• arxiv url: http://arxiv.org/abs/2110.10144v1
• Date: Sun, 12 Sep 2021 13:38:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 07:18:28.504275
• Title: FaxPlainAC: A Fact-Checking Tool Based on EXPLAINable Models with HumAn Correction in the Loop
• Title（参考訳）: FaxPlainAC: ループにHumAn補正を持つEXPLAINableモデルに基づくFact-Checkingツール
• Authors: Zijian Zhang, Koustav Rudra, Avishek Anand
• Abstract要約: FaxPlainACは、説明可能なファクトチェックモデルのアウトプットに対してユーザからのフィードバックを集めるツールである。 FaxPlainACは、他の下流タスクと統合することができ、人間のアノテーション収集と生涯学習の事実チェックを可能にする。
• 参考スコア（独自算出の注目度）: 8.185643427164447
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Fact-checking on the Web has become the main mechanism through which we detect the credibility of the news or information. Existing fact-checkers verify the authenticity of the information (support or refute the claim) based on secondary sources of information. However, existing approaches do not consider the problem of model updates due to constantly increasing training data due to user feedback. It is therefore important to conduct user studies to correct models' inference biases and improve the model in a life-long learning manner in the future according to the user feedback. In this paper, we present FaxPlainAC, a tool that gathers user feedback on the output of explainable fact-checking models. FaxPlainAC outputs both the model decision, i.e., whether the input fact is true or not, along with the supporting/refuting evidence considered by the model. Additionally, FaxPlainAC allows for accepting user feedback both on the prediction and explanation. Developed in Python, FaxPlainAC is designed as a modular and easily deployable tool. It can be integrated with other downstream tasks and allowing for fact-checking human annotation gathering and life-long learning.
• Abstract（参考訳）: Web上でのFact-checkは、ニュースや情報の信頼性を検出する主要なメカニズムとなっている。 既存のファクトチェッカーは、二次的な情報ソースに基づいて、情報の真正性(クレームのサポートまたは反証)を検証する。 しかし,既存のアプローチでは,ユーザフィードバックによるトレーニングデータの増加によるモデル更新の問題が考慮されていない。 したがって,モデルの推論バイアスを補正し,将来的な学習方法でモデルを改善するためには,ユーザフィードバックに従ってユーザ研究を行うことが重要である。 本稿では,説明可能なファクトチェックモデルの出力に対してユーザのフィードバックを収集するツールであるfaxplainacを提案する。 FaxPlainAC はモデル決定、すなわち、入力事実が真かどうか、およびモデルによって考慮された支持/反証証拠の両方を出力する。 さらに、FaxPlainACは、予測と説明の両方でユーザーからのフィードバックを受け入れることができる。 Pythonで開発されたFaxPlainACは、モジュール式で簡単にデプロイ可能なツールとして設計されている。 他のダウンストリームタスクと統合でき、人間のアノテーション収集と生涯学習をファクトチェックできる。

関連論文リスト

• What Matters in Explanations: Towards Explainable Fake Review Detection Focusing on Transformers [45.55363754551388]
  顧客のレビューとフィードバックは、Amazon、Zalando、eBayなどのEコマースプラットフォームにおいて重要な役割を果たす。 売り手が偽レビューやスパムレビューを投稿し、潜在的な顧客を欺き、製品に関する意見を操作しているという懸念が有力である。 本稿では,偽レビューを高精度に検出するための説明可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-24T13:26:02Z)
• FactLLaMA: Optimizing Instruction-Following Language Models with External Knowledge for Automated Fact-Checking [10.046323978189847]
  本稿では,命令追従言語モデルと外部エビデンス検索を併用して,ファクトチェック性能を向上させることを提案する。 我々のアプローチは、与えられた入力クレームに関する適切な証拠を検索するために検索エンジンを活用することである。 そして、この証拠を用いて、LLaMAと呼ばれるオープンソースの言語モデルを作成し、入力クレームの正確性をより正確に予測できるようにする。
  論文  参考訳（メタデータ） (2023-09-01T04:14:39Z)
• Evaluating Correctness and Faithfulness of Instruction-Following Models for Question Answering [26.34649731975005]
  Retriever-augmented instruction-following modelは、質問応答のための微調整アプローチ(QA)の魅力的な代替品である モデル応答は自然で流動的である傾向にあるが、追加の冗長性により、モデルパフォーマンスを正確に定量化するために従来のQA評価指標は信頼できない。 1) ユーザの情報要求(正確性)をどの程度満足させるか,2) 提供された知識(忠実性)に基づいて応答を生成するか,という2つの次元に沿って,これらのモデルを評価するために,自動評価と人的評価の両方を用いる。
  論文  参考訳（メタデータ） (2023-07-31T17:41:00Z)
• Counterfactual Augmentation for Multimodal Learning Under Presentation Bias [48.372326930638025]
  機械学習システムでは、ユーザとモデル間のフィードバックループが将来のユーザの振る舞いをバイアスし、ラベルのプレゼンテーションバイアスを引き起こす。 生成した反事実ラベルを用いてプレゼンテーションバイアスを補正する新しい因果的手法である反事実拡張を提案する。
  論文  参考訳（メタデータ） (2023-05-23T14:09:47Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• XMD: An End-to-End Framework for Interactive Explanation-Based Debugging of NLP Models [33.81019305179569]
  説明に基づくモデルデバッギングは,モデル動作の説明を人間に示すことによって,突発的なバイアスを解決することを目的としている。 我々は、説明に基づくモデルデバッグのための、最初のオープンソースのエンドツーエンドフレームワークであるXMDを提案する。 XMDは、モデルがユーザーのフィードバックと一致するように規則化することで、モデルをリアルタイムで更新する。
  論文  参考訳（メタデータ） (2022-10-30T23:09:09Z)
• VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives [84.48039784446166]
  モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。 我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。 説明が妥当で忠実な場合には予測がより正確になる。
  論文  参考訳（メタデータ） (2022-06-22T17:02:01Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• WikiCheck: An end-to-end open source Automatic Fact-Checking API based on Wikipedia [1.14219428942199]
  我々は、自動Fact-checkingのためのState-of-the-Artデータセットとソリューションについてレビューする。 モデルの性能と一般化を改善するデータフィルタリング手法を提案する。 本稿では,ウィキペディアの知識ベースに基づいたファクトチェックシステムであるtextitWikiCheck APIを提案する。
  論文  参考訳（メタデータ） (2021-09-02T10:45:07Z)
• FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
  実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。 我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
  論文  参考訳（メタデータ） (2021-07-05T17:31:44Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。