論文の概要: Unraveling Misinformation Propagation in LLM Reasoning

• arxiv url: http://arxiv.org/abs/2505.18555v1
• Date: Sat, 24 May 2025 06:45:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.503953
• Title: Unraveling Misinformation Propagation in LLM Reasoning
• Title（参考訳）: LLM推論における誤った情報伝達
• Authors: Yiyang Feng, Yichen Wang, Shaobo Cui, Boi Faltings, Mina Lee, Jiawei Zhou,
• Abstract要約: 大規模言語モデルの推論過程において,誤情報がどのように伝播するかを示す。 推論過程の早い段階で事実訂正を適用することは、誤情報伝達を効果的に減少させる。 我々の研究は誤情報伝達を緩和するための実践的なアプローチを提供する。
• 参考スコア（独自算出の注目度）: 19.89817963822589
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive capabilities in reasoning, positioning them as promising tools for supporting human problem-solving. However, what happens when their performance is affected by misinformation, i.e., incorrect inputs introduced by users due to oversights or gaps in knowledge? Such misinformation is prevalent in real-world interactions with LLMs, yet how it propagates within LLMs' reasoning process remains underexplored. Focusing on mathematical reasoning, we present a comprehensive analysis of how misinformation affects intermediate reasoning steps and final answers. We also examine how effectively LLMs can correct misinformation when explicitly instructed to do so. Even with explicit instructions, LLMs succeed less than half the time in rectifying misinformation, despite possessing correct internal knowledge, leading to significant accuracy drops (10.02% - 72.20%). Further analysis shows that applying factual corrections early in the reasoning process most effectively reduces misinformation propagation, and fine-tuning on synthesized data with early-stage corrections significantly improves reasoning factuality. Our work offers a practical approach to mitigating misinformation propagation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の問題解決を支援するための有望なツールとして、推論において印象的な能力を示している。 しかし、そのパフォーマンスが誤情報、すなわち知識の過小評価や不足によってユーザーが導入した誤った入力に影響された場合、どうなるのか? このような誤報は、LLMと現実世界の相互作用においてよく見られるが、LLMの推論プロセス内でどのように伝播するかは未解明のままである。 数学的推論に焦点をあてて、誤報が中間的推論ステップと最終回答にどのように影響するかを包括的に分析する。 また,LSMが誤報を明示的に指示した場合に,いかに効果的に修正できるかについても検討した。 明示的な指示にもかかわらず、LSMは正しい内部知識を持っているにもかかわらず誤情報の修正に半分未満の時間で成功し、10.02%から72.20%の精度で低下した。 さらに, 推論過程の早期に事実訂正を行うことで, 誤情報伝達を効果的に低減し, 早期補正による合成データの微調整により推論事実性が著しく向上することが示唆された。 我々の研究は誤情報伝達を緩和するための実践的なアプローチを提供する。

関連論文リスト

• Effective LLM Knowledge Learning via Model Generalization [73.16975077770765]
  大規模言語モデル(LLM)は、広範囲な世界知識を含む膨大なドキュメントに基づいて訓練されている。 自己回帰的な事前学習を通じて知識がどのように獲得されるかは、まだよく理解されていない。 本稿では,LLM知識学習の理解と改善に焦点をあてる。
  論文  参考訳（メタデータ） (2025-03-05T17:56:20Z)
• Balancing Truthfulness and Informativeness with Uncertainty-Aware Instruction Fine-Tuning [79.48839334040197]
  インストラクション微調整(IFT)は、大きな言語モデル(LLM)の知性を高めるが、その真偽を減少させる可能性がある。 本稿では,IFTデータセットにおける不慣れな知識がLLMの真偽にどのように悪影響を及ぼすかを実証的に示す。 この問題に対処するために、新しいIFTパラダイムである$UNIT_cut$と$UNIT_ref$を導入します。
  論文  参考訳（メタデータ） (2025-02-17T16:10:30Z)
• No Need for Explanations: LLMs can implicitly learn from mistakes in-context [14.508050809497847]
  我々は,大規模な言語モデルが誤りからより効果的に学習する理由を,明確な正当性を持たずに研究する。 我々は、誤答がLLM学習にとってより有益である一方で、モデルに過度に拘束された明確な補正的合理性を示す証拠を見出した。
  論文  参考訳（メタデータ） (2025-02-12T16:31:21Z)
• Correcting misinformation on social media with a large language model [14.69780455372507]
  現実世界の誤報は、しばしばマルチモーダルであり、因果関係を混同するような様々な戦術で誤解を招くことがある。 このような誤報は、特にソーシャルメディアにおいて、ひどく過小評価され、対処が困難であり、様々な社会的ドメインに害を与えている。 本稿では,最新の情報へのアクセスと信頼性を付加したLCMであるMUSEを提案する。
  論文  参考訳（メタデータ） (2024-03-17T10:59:09Z)
• Learning From Mistakes Makes LLM Better Reasoner [106.48571828587728]
  大規模言語モデル(LLM)は、最近数学の問題を解く際、顕著な推論能力を示した。 この研究は、LLMが人間の学習プロセスに似たMistAkes(LEMA)から学習できるかどうかを探求する。
  論文  参考訳（メタデータ） (2023-10-31T17:52:22Z)
• Information Association for Language Model Updating by Mitigating LM-Logical Discrepancy [68.31760483418901]
  大規模言語モデル(LLM)は、時代遅れの事前学習データのために現在の情報を提供するのに苦労する。 知識編集や連続的な微調整など,従来のLCMの更新方法は,新たな情報の一般化に重大な欠点がある。 これらの欠点の中核となる課題は,言語モデリングの確率と論理的確率の差を特徴とするLM論理的相違である。
  論文  参考訳（メタデータ） (2023-05-29T19:48:37Z)
• Influence of External Information on Large Language Models Mirrors Social Cognitive Patterns [51.622612759892775]
  社会的認知理論は、人々が他人を観察して知識を習得する方法を説明する。 近年,大規模言語モデル(LLM)の急速な発展を目撃している。 LLMは、AIエージェントとして、その認知と行動を形成する外部情報を観察することができる。
  論文  参考訳（メタデータ） (2023-05-08T16:10:18Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。