論文の概要: Web Retrieval Agents for Evidence-Based Misinformation Detection
- arxiv url: http://arxiv.org/abs/2409.00009v2
- Date: Wed, 09 Oct 2024 19:13:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-11 14:27:58.397906
- Title: Web Retrieval Agents for Evidence-Based Misinformation Detection
- Title(参考訳): 証拠に基づく誤情報検出のためのWeb検索エージェント
- Authors: Jacob-Junqi Tian, Hao Yu, Yury Orlovskiy, Tyler Vergho, Mauricio Rivera, Mayank Goel, Zachary Yang, Jean-Francois Godbout, Reihaneh Rabbany, Kellin Pelrine,
- Abstract要約: 本稿では,誤情報検出のためのエージェントベース自動事実チェック手法を提案する。
検索にインターネットにアクセスできない強力なLLMエージェントとオンライン検索エージェントを組み合わせることで,各ツールを独立して使用する場合よりも優れた結果が得られることを示す。
- 参考スコア(独自算出の注目度): 12.807650005708911
- License:
- Abstract: This paper develops an agent-based automated fact-checking approach for detecting misinformation. We demonstrate that combining a powerful LLM agent, which does not have access to the internet for searches, with an online web search agent yields better results than when each tool is used independently. Our approach is robust across multiple models, outperforming alternatives and increasing the macro F1 of misinformation detection by as much as 20 percent compared to LLMs without search. We also conduct extensive analyses on the sources our system leverages and their biases, decisions in the construction of the system like the search tool and the knowledge base, the type of evidence needed and its impact on the results, and other parts of the overall process. By combining strong performance with in-depth understanding, we hope to provide building blocks for future search-enabled misinformation mitigation systems.
- Abstract(参考訳): 本稿では,誤情報検出のためのエージェントベース自動事実チェック手法を提案する。
検索にインターネットにアクセスできない強力なLLMエージェントとオンライン検索エージェントを組み合わせることで,各ツールを独立して使用する場合よりも優れた結果が得られることを示す。
提案手法は,複数のモデルにまたがって堅牢であり,代替品よりも優れ,誤情報検出のマクロF1を検索不要のLLMと比較して最大20%向上する。
また,検索ツールや知識ベースなどのシステム構築における判断,必要なエビデンスの種類,結果への影響,およびプロセス全体の他の部分について,システムの利用源とそのバイアスに関する広範な分析を行う。
高い性能と深い理解を組み合わせることで、将来検索可能な誤情報軽減システムの構築ブロックを提供したいと思っています。
関連論文リスト
- Multimodal Misinformation Detection using Large Vision-Language Models [7.505532091249881]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。
誤情報検出の一部として証拠検索を考えるアプローチはほとんどない。
マルチモーダルエビデンス検索のための新しい手法を提案する。
論文 参考訳(メタデータ) (2024-07-19T13:57:11Z) - DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。
我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。
私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
論文 参考訳(メタデータ) (2024-07-01T18:58:22Z) - Tree Search for Language Model Agents [69.43007235771383]
対話型Web環境での探索と多段階計画を行うために,LMエージェントの推論時探索アルゴリズムを提案する。
我々のアプローチは、実環境空間内で機能する最優先木探索の一形態である。
現実的なWebタスクにおいて有効性を示すLMエージェントのための最初の木探索アルゴリズムである。
論文 参考訳(メタデータ) (2024-07-01T17:07:55Z) - AvaTaR: Optimizing LLM Agents for Tool-Assisted Knowledge Retrieval [93.96463520716759]
大言語モデル(LLM)エージェントは、外部のツールや知識を活用して精度を高め、幻覚を減らすという印象的な能力を示した。
本稿では、LLMエージェントを最適化して提供するツールを効果的に利用し、与えられたタスク/ドメインの性能を向上させる新しいフレームワークであるAvaTaRを紹介する。
AvaTaRは、4つの課題にまたがる最先端のアプローチを一貫して上回り、新規事例に適用した場合に強力な一般化能力を示す。
論文 参考訳(メタデータ) (2024-06-17T04:20:02Z) - Enhancing Mobile "How-to" Queries with Automated Search Results Verification and Reranking [4.521071819941574]
本稿では,オンライン技術支援検索結果の精度と関連性を改善するための新しい手法を提案する。
我々は、AIエージェントが検索結果のステップバイステップの指示を、制御されたAndroid環境で解釈し実行できるようにするための、最初のソリューションを開発した。
その結果,上位結果の品質と信頼性は著しく向上した。
論文 参考訳(メタデータ) (2024-04-13T00:20:09Z) - Evaluating Robustness of Generative Search Engine on Adversarial Factual Questions [89.35345649303451]
生成検索エンジンは、人々がオンラインで情報を求める方法を変える可能性を秘めている。
しかし,既存の大規模言語モデル(LLM)が支援する生成検索エンジンからの応答は必ずしも正確ではない。
検索強化世代は、敵がシステム全体を回避できるため、安全上の懸念を増す。
論文 参考訳(メタデータ) (2024-02-25T11:22:19Z) - KwaiAgents: Generalized Information-seeking Agent System with Large
Language Models [33.59597020276034]
人間は批判的思考、計画、リフレクション、世界と対話し解釈するための利用可能なツールの活用に優れています。
大規模言語モデル(LLM)の最近の進歩は、マシンが前述の人間のような能力を持っていることも示唆している。
LLMに基づく汎用情報検索システムであるKwaiAgentsを紹介する。
論文 参考訳(メタデータ) (2023-12-08T08:11:11Z) - RCAgent: Cloud Root Cause Analysis by Autonomous Agents with Tool-Augmented Large Language Models [46.476439550746136]
近年,クラウド根本原因分析(RCA)における言語モデル (LLM) の適用が活発に検討されている。
RCAgentは、実用的でプライバシに配慮した産業RCA利用のためのツール強化LDM自律エージェントフレームワークである。
RCAgentはGPTファミリではなく、内部的にデプロイされたモデル上で動作し、フリーフォームのデータ収集とツールによる包括的な分析を行うことができる。
論文 参考訳(メタデータ) (2023-10-25T03:53:31Z) - Enabling Large Language Models to Generate Text with Citations [37.64884969997378]
大規模言語モデル (LLM) は情報検索のツールとして広く使われている。
我々の目的は、LLMが引用文を生成できるようにし、その事実の正しさと妥当性を向上させることである。
自動LLMのCitation Evaluationのための最初のベンチマークであるALCEを提案する。
論文 参考訳(メタデータ) (2023-05-24T01:53:49Z) - Boosting Search Engines with Interactive Agents [25.89284695491093]
本稿では,文脈的クエリ改善のためのメタストラテジーを学習するエージェントの設計における第一歩について述べる。
エージェントには単純だが効果的な検索操作者がいて、クエリや検索結果のきめ細やかで透明な制御を行う。
論文 参考訳(メタデータ) (2021-09-01T13:11:57Z) - AutoOD: Automated Outlier Detection via Curiosity-guided Search and
Self-imitation Learning [72.99415402575886]
外乱検出は重要なデータマイニングの課題であり、多くの実用的応用がある。
本稿では,最適なニューラルネットワークモデルを探すことを目的とした自動外乱検出フレームワークであるAutoODを提案する。
さまざまな実世界のベンチマークデータセットに対する実験結果から、AutoODが特定したディープモデルが最高のパフォーマンスを達成することが示された。
論文 参考訳(メタデータ) (2020-06-19T18:57:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。