論文の概要: "Beware of deception": Detecting Half-Truth and Debunking it through Controlled Claim Editing

• arxiv url: http://arxiv.org/abs/2308.07973v1
• Date: Tue, 15 Aug 2023 18:21:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 15:54:19.943907
• Title: "Beware of deception": Detecting Half-Truth and Debunking it through Controlled Claim Editing
• Title（参考訳）: 「欺くこと」:半真実を検知し、制御されたクレーム編集によってそれを非難する
• Authors: Sandeep Singamsetty, Nishtha Madaan, Sameep Mehta, Varad Bhatnagar, Pushpak Bhattacharyya
• Abstract要約: 半真実検出モデルとクレーム編集モデルからなる包括的パイプラインを作成する。 提案手法は,平均BLEUスコア0.88,ディスinfo-debunkスコア85%を編集クレームで達成する。 LIAR PLUSデータセットを拡張することで、半真実検出モデルのF1スコアが82%に達する。
• 参考スコア（独自算出の注目度）: 36.48859877470747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The prevalence of half-truths, which are statements containing some truth but that are ultimately deceptive, has risen with the increasing use of the internet. To help combat this problem, we have created a comprehensive pipeline consisting of a half-truth detection model and a claim editing model. Our approach utilizes the T5 model for controlled claim editing; "controlled" here means precise adjustments to select parts of a claim. Our methodology achieves an average BLEU score of 0.88 (on a scale of 0-1) and a disinfo-debunk score of 85% on edited claims. Significantly, our T5-based approach outperforms other Language Models such as GPT2, RoBERTa, PEGASUS, and Tailor, with average improvements of 82%, 57%, 42%, and 23% in disinfo-debunk scores, respectively. By extending the LIAR PLUS dataset, we achieve an F1 score of 82% for the half-truth detection model, setting a new benchmark in the field. While previous attempts have been made at half-truth detection, our approach is, to the best of our knowledge, the first to attempt to debunk half-truths.
• Abstract（参考訳）: 真実はあるものの、究極的には偽りの表現である半真実の流行は、インターネットの利用の増加とともに高まっている。 この問題に対処するため,我々は,半真実検出モデルとクレーム編集モデルからなる包括的なパイプラインを構築した。 提案手法では,制御されたクレーム編集にT5モデルを用いる。 提案手法では,平均bleuスコア0.88(0-1スケール),disinfo-debunkスコア85%を編集クレームで達成した。 特に、t5ベースのアプローチは、gpt2、roberta、pegasus、tailorといった他の言語モデルよりも優れており、disinfo-debunkスコアの平均的な改善は82%、57%、42%、そして23%であった。 LIAR PLUSデータセットを拡張することで、半トラック検出モデルのF1スコアが82%に達し、フィールドに新しいベンチマークが設定される。 これまでの半真理検出の試みはあったが、私たちのアプローチは、私たちの知る限りでは、初めて半真理を解き明かす試みである。

関連論文リスト

• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)
• GRATH: Gradual Self-Truthifying for Large Language Models [63.502835648056305]
  GRATH(Gradual Self-Truthifying)は,大規模言語モデル(LLM)の真偽性を高めるためのポストプロセッシング手法である。 GRATHは、反復的に真理データを洗練し、モデルを更新する。 GRATHはTruthfulQAの最先端性能を達成し、MC1の精度は54.71%、MC2の精度は69.10%であり、70B-LLMよりも高い。
  論文  参考訳（メタデータ） (2024-01-22T19:00:08Z)
• The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
  ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。 それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-01-01T14:02:27Z)
• BaRDa: A Belief and Reasoning Dataset that Separates Factual Accuracy and Reasoning Ability [35.743903178120895]
  BaRDaデータセットには3000のエンターメントが含まれている(1787年有効、1213年無効) 実際の精度(真実)は74.1/80.6/82.6/87.1で、推論精度は63.1/78.0/71.8/79.2である。 このことは、事実の正確さと細部推論を改善するためのモデルの明確な進歩を示している。
  論文  参考訳（メタデータ） (2023-12-12T18:55:43Z)
• News Verifiers Showdown: A Comparative Performance Evaluation of ChatGPT 3.5, ChatGPT 4.0, Bing AI, and Bard in News Fact-Checking [0.0]
  OpenAIのChatGPT 3.5と4.0、GoogleのBard(LaMDA)、MicrosoftのBing AIが評価された。 その結果、全てのモデルで適度な熟練度を示し、平均スコアは100点中65.25点だった。 OpenAIのGPT-4.0のスコアは71であり、偽造と事実を区別する新しいLSMの能力の限界が示唆された。
  論文  参考訳（メタデータ） (2023-06-18T04:30:29Z)
• Missing Counter-Evidence Renders NLP Fact-Checking Unrealistic for Misinformation [67.69725605939315]
  誤報は、信頼できる情報が限られている不確実な時に現れる。 NLPベースのファクトチェックは、まだ利用できないかもしれない反証拠に依存しているため、これは難しい。
  論文  参考訳（メタデータ） (2022-10-25T09:40:48Z)
• HaT5: Hate Language Identification using Text-to-Text Transfer Transformer [1.2532400738980594]
  比較的多様な2つのデータセットから5つのタスクにまたがる最先端技術(SoTA)アーキテクチャT5の性能について検討する。 性能向上のために,自己回帰モデルを用いてトレーニングデータを増強する。 サンプルの小さなセットを使用することで、データアノテーションが貧弱であることの難しさを明らかにします。
  論文  参考訳（メタデータ） (2022-02-11T15:21:27Z)
• PRover: Proof Generation for Interpretable Reasoning over Rules [81.40404921232192]
  本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。 本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。 我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
  論文  参考訳（メタデータ） (2020-10-06T15:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。