論文の概要: How does Misinformation Affect Large Language Model Behaviors and Preferences?

• arxiv url: http://arxiv.org/abs/2505.21608v1
• Date: Tue, 27 May 2025 17:57:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.209912
• Title: How does Misinformation Affect Large Language Model Behaviors and Preferences?
• Title（参考訳）: 誤報は大規模言語モデル行動や嗜好にどのような影響を及ぼすか?
• Authors: Miao Peng, Nuo Chen, Jianheng Tang, Jia Li,
• Abstract要約: 大きな言語モデル(LLM)は、知識集約的なタスクにおいて顕著な能力を示している。 我々は,LLMの行動と誤情報に対する知識嗜好を評価するための,現在最大かつ最も包括的なベンチマークであるMisBenchを紹介する。 実証的な結果から、LLMは誤報を識別する能力に匹敵する能力を示すが、知識の衝突やスタイルのバリエーションの影響を受けやすいままであることが明らかとなった。
• 参考スコア（独自算出の注目度）: 37.06385727015972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have shown remarkable capabilities in knowledge-intensive tasks, while they remain vulnerable when encountering misinformation. Existing studies have explored the role of LLMs in combating misinformation, but there is still a lack of fine-grained analysis on the specific aspects and extent to which LLMs are influenced by misinformation. To bridge this gap, we present MisBench, the current largest and most comprehensive benchmark for evaluating LLMs' behavior and knowledge preference toward misinformation. MisBench consists of 10,346,712 pieces of misinformation, which uniquely considers both knowledge-based conflicts and stylistic variations in misinformation. Empirical results reveal that while LLMs demonstrate comparable abilities in discerning misinformation, they still remain susceptible to knowledge conflicts and stylistic variations. Based on these findings, we further propose a novel approach called Reconstruct to Discriminate (RtD) to strengthen LLMs' ability to detect misinformation. Our study provides valuable insights into LLMs' interactions with misinformation, and we believe MisBench can serve as an effective benchmark for evaluating LLM-based detectors and enhancing their reliability in real-world applications. Codes and data are available at https://github.com/GKNL/MisBench.
• Abstract（参考訳）: 大きな言語モデル(LLM)は知識集約的なタスクにおいて顕著な能力を示し、誤った情報に遭遇しても脆弱である。 既存の研究では、誤情報に対処する上でLLMが果たす役割について検討されているが、誤情報に影響を及ぼす特定の側面や範囲に関する詳細な分析はいまだにない。 このギャップを埋めるために、私たちはLLMの振る舞いと誤情報に対する知識嗜好を評価するための、現在最大かつ最も包括的なベンチマークであるMisBenchを紹介します。 ミスベンチは10,346,712個の誤報で構成されており、知識に基づく矛盾と誤報の様式的なバリエーションの両方を独自に考慮している。 実証的な結果から、LLMは誤報を識別する能力に匹敵する能力を示すが、知識の衝突やスタイルのバリエーションの影響を受けやすいままであることが明らかとなった。 これらの知見に基づいて,LLMの誤情報検出能力を高めるために,Reconstruct to Discriminate (RtD) と呼ばれる新しい手法を提案する。 本研究は,LLMと誤情報との相互作用に関する貴重な知見を提供するとともに,MisBenchがLLMベースの検出器の評価や,実世界のアプリケーションにおける信頼性向上に有効なベンチマークとなると信じている。 コードとデータはhttps://github.com/GKNL/MisBench.comで公開されている。

関連論文リスト

• Unraveling Misinformation Propagation in LLM Reasoning [19.89817963822589]
  大規模言語モデルの推論過程において,誤情報がどのように伝播するかを示す。 推論過程の早い段階で事実訂正を適用することは、誤情報伝達を効果的に減少させる。 我々の研究は誤情報伝達を緩和するための実践的なアプローチを提供する。
  論文  参考訳（メタデータ） (2025-05-24T06:45:45Z)
• Accommodate Knowledge Conflicts in Retrieval-augmented LLMs: Towards Reliable Response Generation in the Wild [11.058848731627233]
  大規模言語モデル (LLM) には高度な情報検索システムがある。 LLMは、しばしば内部記憶と検索された外部情報の間の知識の衝突に直面している。 スウィンVIBは,変分情報ボトルネックモデルのパイプラインを,検索した情報の適応的拡張に統合する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-04-17T14:40:31Z)
• How to Protect Yourself from 5G Radiation? Investigating LLM Responses to Implicit Misinformation [24.355564722047244]
  大規模言語モデル(LLM)は多様なシナリオに広くデプロイされている。 彼らが誤報をうまく広める程度は、重大な安全上の懸念として浮かび上がっている。 私たちは、暗黙の誤報の最初のベンチマークであるEchoMistをキュレートしました。
  論文  参考訳（メタデータ） (2025-03-12T17:59:18Z)
• RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
  本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。 本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
  論文  参考訳（メタデータ） (2023-11-14T13:24:19Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
  本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。 本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
  論文  参考訳（メタデータ） (2023-05-23T04:10:26Z)
• Influence of External Information on Large Language Models Mirrors Social Cognitive Patterns [51.622612759892775]
  社会的認知理論は、人々が他人を観察して知識を習得する方法を説明する。 近年,大規模言語モデル(LLM)の急速な発展を目撃している。 LLMは、AIエージェントとして、その認知と行動を形成する外部情報を観察することができる。
  論文  参考訳（メタデータ） (2023-05-08T16:10:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。