Fugu-MT 論文翻訳(概要): FACT-GPT: Fact-Checking Augmentation via Claim Matching with LLMs

論文の概要: FACT-GPT: Fact-Checking Augmentation via Claim Matching with LLMs

arxiv url: http://arxiv.org/abs/2402.05904v1
Date: Thu, 8 Feb 2024 18:43:05 GMT
ステータス: 処理完了
システム内更新日: 2024-02-09 13:41:33.775907
Title: FACT-GPT: Fact-Checking Augmentation via Claim Matching with LLMs
Title（参考訳）: FACT-GPT:LCMとのクレームマッチングによるFact-Checking Augmentation
Authors: Eun Cheol Choi, Emilio Ferrara
Abstract要約: FACT-GPTは、以前の主張と一致し、矛盾し、あるいは無関係であるソーシャルメディアコンテンツを識別する。評価の結果,LLMは大規模モデルの精度に適合し,関連するクレームを識別できることがわかった。
参考スコア（独自算出の注目度）: 11.323961700172175
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Our society is facing rampant misinformation harming public health and trust. To address the societal challenge, we introduce FACT-GPT, a system leveraging Large Language Models (LLMs) to automate the claim matching stage of fact-checking. FACT-GPT, trained on a synthetic dataset, identifies social media content that aligns with, contradicts, or is irrelevant to previously debunked claims. Our evaluation shows that our specialized LLMs can match the accuracy of larger models in identifying related claims, closely mirroring human judgment. This research provides an automated solution for efficient claim matching, demonstrates the potential of LLMs in supporting fact-checkers, and offers valuable resources for further research in the field.
Abstract（参考訳）: 私たちの社会は、公衆の健康と信頼を害する激しい誤報に直面しています。本稿では,FACT-GPT(Large Language Models (LLM) を利用したファクトチェックのクレームマッチングの自動化システム)を紹介する。 FACT-GPT(英: FACT-GPT)は、合成データセットに基づいてトレーニングされ、ソーシャルメディアの内容を特定する。評価の結果,我々の特殊llmは,人間の判断を忠実に反映し,関連するクレームの同定において,より大きなモデルの精度に適合することがわかった。この研究は、効率的なクレームマッチングのための自動化ソリューションを提供し、ファクトチェッカをサポートするためのllmの可能性を示し、この分野におけるさらなる研究のための貴重なリソースを提供する。

関連論文リスト

Knowing When to Ask -- Bridging Large Language Models and Data [3.111987311375933]
大規模言語モデル(LLM)は、数値および統計データやその他のタイムリーな事実を含むクエリに応答するときに、事実的に誤った情報を生成する傾向がある。本稿では,LLMをData Commonsに統合することで,LCMの精度を高める手法を提案する。
論文参考訳（メタデータ） (2024-09-10T17:51:21Z)
Advancing Annotation of Stance in Social Media Posts: A Comparative Analysis of Large Language Models and Crowd Sourcing [2.936331223824117]
ソーシャルメディア投稿における自動テキストアノテーションのための大規模言語モデル(LLM)は、大きな関心を集めている。ソーシャルメディア投稿において,8つのオープンソースおよびプロプライエタリなLCMの性能分析を行った。「我々の研究の顕著な発見は、姿勢を表わす文章の明快さが、LLMの姿勢判断が人間とどのように一致しているかにおいて重要な役割を担っていることである。」
論文参考訳（メタデータ） (2024-06-11T17:26:07Z)
Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。ミスシは、誤った推論のための新しい議論理論モデルである。大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
論文参考訳（メタデータ） (2024-06-05T12:11:10Z)
CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
論文参考訳（メタデータ） (2024-05-20T14:34:01Z)
Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
論文参考訳（メタデータ） (2023-11-22T11:08:38Z)
Adapting LLMs for Efficient, Personalized Information Retrieval: Methods and Implications [0.7832189413179361]
LLM(Large Language Models)は、人間に似たテキストの理解と生成に優れた言語モデルである。本稿では,言語モデル(LLM)と情報検索(IR)システムの統合戦略について検討する。
論文参考訳（メタデータ） (2023-11-21T02:01:01Z)
The Perils & Promises of Fact-checking with Large Language Models [55.869584426820715]
大規模言語モデル(LLM)は、学術論文、訴訟、ニュース記事を書くことをますます信頼されている。語句検索,文脈データ検索,意思決定などにより,実検におけるLLMエージェントの使用状況を評価する。本研究は, 文脈情報を用いたLLMの高度化を示すものである。 LLMは事実チェックにおいて有望であるが、不整合の正確性のため注意が必要である。
論文参考訳（メタデータ） (2023-10-20T14:49:47Z)
ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文参考訳（メタデータ） (2023-10-19T06:37:32Z)
Automated Claim Matching with Large Language Models: Empowering Fact-Checkers in the Fight Against Misinformation [11.323961700172175]
FACT-GPTは、大規模言語モデルを用いたファクトチェックのクレームマッチングフェーズを自動化するために設計されたフレームワークである。このフレームワークは、ファクトチェッカーによって以前否定された主張を支持したり、否定したりする新しいソーシャルメディアコンテンツを識別する。 FACT-GPTを公衆衛生に関連するソーシャルメディアコンテンツのデータセットとして評価した。
論文参考訳（メタデータ） (2023-10-13T16:21:07Z)
Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
論文参考訳（メタデータ） (2023-05-22T14:58:13Z)
Assessing Hidden Risks of LLMs: An Empirical Study on Robustness, Consistency, and Credibility [37.682136465784254]
我々は、ChatGPT、LLaMA、OPTを含む、主流の大規模言語モデル(LLM)に100万以上のクエリを実行します。入力が極端に汚染された場合でも、ChatGPTは正しい答えを得ることができる。そこで本研究では,LCMによる評価において,そのようなデータの有効性を大まかに決定する新たな指標を提案する。
論文参考訳（メタデータ） (2023-05-15T15:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。