論文の概要: Truth or Sophistry? LoFa: A Benchmark for LLM Robustness Against Logical Fallacies
- arxiv url: http://arxiv.org/abs/2606.31039v1
- Date: Tue, 30 Jun 2026 02:17:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.042075
- Title: Truth or Sophistry? LoFa: A Benchmark for LLM Robustness Against Logical Fallacies
- Title（参考訳）: 真実かソフィストか? LoFa:論理的誤りに対するLCMロバストネスのベンチマーク
- Abstract要約: 大規模言語モデル(LLM)は強力な意味的能力を示すが、論理的誤認のような操作型言語パターンに対する弾力性は未解明のままである。
本稿では,LLMのロバスト性を評価するためのベンチマークであるLoFa(Logical Fallacy)を紹介する。
また、誤攻撃に対する抵抗を定量化する指標であるk(LFR@k)の論理的誤り抵抗についても提案する。
- 参考スコア（独自算出の注目度）: 51.39569894108518
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) exhibit strong semantic capabilities, yet their resilience to manipulative linguistic patterns such as logical fallacies remains underexplored. Prior work has primarily examined whether LLMs can identify or classify fallacies, leaving their robustness against fallacious persuasion insufficiently studied. To address this gap, we introduce LoFa (Logical Fallacy), a comprehensive benchmark for evaluating LLM robustness against fallacies. LoFa is constructed through a multi-agent pipeline that pairs factual questions with fallacious arguments, and is accompanied by a multi-round debate framework for assessing model resilience under sustained adversarial persuasion. To disentangle fallacy robustness from a model's inherent knowledge limitations, we further propose Logical Fallacy Resistance at k (LFR@k), a metric that quantifies resistance to fallacious attacks. Experiments show that LLMs exhibit varying levels of robustness across different fallacy types, revealing distinct vulnerability profiles among models.
- Abstract（参考訳）: 大規模言語モデル(LLM)は強力な意味的能力を示すが、論理的誤認のような操作型言語パターンに対する弾力性は未解明のままである。
従来の研究は、LSMが誤診を識別または分類できるかどうかを主に検討しており、誤診に対する堅牢性は十分に研究されていない。
このギャップに対処するために,LLMのロバスト性を評価するための総合的なベンチマークであるLoFa(Logical Fallacy)を導入する。
LoFaは、現実の質問と誤った議論をペアリングするマルチエージェントパイプラインを通じて構築され、持続的な逆の説得の下でモデルのレジリエンスを評価するためのマルチラウンドの議論フレームワークが付属している。
モデル固有の知識制限からフォールティフル性を引き離すために、我々はさらに、誤攻撃に対する抵抗を定量化する指標である k (LFR@k) の論理的フォールティフル性(logical Fallacy resistance)を提案する。
実験の結果、LLMは様々な誤動作のタイプで様々なレベルの堅牢性を示し、モデル間で異なる脆弱性プロファイルが明らかになっている。
関連論文リスト
- Tackling the Root of Misinformation by Teaching Laypeople about Logical Fallacies via Socratic Questioning and Critical Argumentation [49.177047539037]
我々はLFTutorを紹介した。Large Language Models を用いた知的学習システムである。
自動評価と人的評価の両面から,LFTutorがベースラインLLMよりも有意に優れていることを示す。
この研究は、AI時代の批判的思考と議論的リテラシーを促進するために、LSMと教育的な足場を組み合わせるという約束を強調している。
論文 参考訳（メタデータ） (2026-05-31T05:24:57Z) - CausalFlip: A Benchmark for LLM Causal Judgment Beyond Semantic Matching [50.65932158912512]
そこで我々は,新しい大言語モデルの開発を促進するために,因果推論ベンチマークCausalFlipを提案する。
CaulFlipは、イベントトリプル上に構築された因果判断の質問で構成されており、共同創設者、チェーン、コライダーの関係が異なっている。
回答のみのトレーニング,明示的なチェーン・オブ・ソート監視,そして内在型因果推論アプローチなどを含む,複数の訓練パラダイムによるLCMの評価を行った。
論文 参考訳（メタデータ） (2026-02-23T18:06:15Z) - Towards Generalizable Reasoning: Group Causal Counterfactual Policy Optimization for LLM Reasoning [50.352417879912515]
大規模言語モデル(LLM)は推論能力の進歩とともに複雑なタスクに優れる。
一般化可能な推論パターンを学習するために,LLMを明示的に訓練するためのグループ因果政策最適化を提案する。
次に、この報酬からトークンレベルのアドバンテージを構築し、ポリシーを最適化し、LCMにプロセス無効で事実上堅牢な推論パターンを推奨します。
論文 参考訳（メタデータ） (2026-02-06T08:03:11Z) - Large Language Model Reasoning Failures [3.139060394530521]
大規模言語モデル(LLM)における推論失敗に関する総合的な調査を初めて紹介する。
我々は、推論をエンボディード型と非エンボディード型に区別する新しい分類フレームワークを導入する。
それぞれの推論失敗に対して、明確な定義を提供し、既存の研究を分析し、根本原因を探究し、緩和戦略を提示する。
論文 参考訳（メタデータ） (2026-02-05T20:29:26Z) - MORABLES: A Benchmark for Assessing Abstract Moral Reasoning in LLMs with Fables [50.29407048003165]
MORABLESは,歴史文献から引用されたファブレットと短編から構築された人間検証ベンチマークである。
主なタスクは、道徳的推論をターゲットとした複数選択の質問として構成されており、モデルが浅く抽出された質問応答を超えるよう挑戦する注意深い注意を払っている。
以上の結果から,より大きなモデルはより小さなモデルよりも優れているが,敵の操作に敏感であり,真の道徳的推論よりも表面的パターンに頼っていることが示唆された。
論文 参考訳（メタデータ） (2025-09-15T19:06:10Z) - A Peek into Token Bias: Large Language Models Are Not Yet Genuine Reasoners [58.15511660018742]
本研究では,大規模言語モデル (LLM) が真の推論能力を持つかどうかを評価するための仮説検証フレームワークを提案する。
我々は,相補的な誤りとシロジカルな問題を特徴とする,注意深く制御された合成データセットを開発した。
論文 参考訳（メタデータ） (2024-06-16T19:22:53Z) - A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。
本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
論文 参考訳（メタデータ） (2023-11-14T07:13:10Z) - Assessing Step-by-Step Reasoning against Lexical Negation: A Case Study
on Syllogism [19.590120229602103]
大規模言語モデル(LLM)は、ステップバイステップの推論命令、例えばチェーン・オブ・シント(CoT)プロンプトを利用する。
本研究では, 否定に着目したLCMのステップバイステップ推論能力について検討する。
論文 参考訳（メタデータ） (2023-10-23T12:40:41Z) - Can ChatGPT Defend its Belief in Truth? Evaluating LLM Reasoning via
Debate [19.887103433032774]
大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著なパフォーマンスを示している。
この研究は、LLMの推論を議論のような会話で議論することで検証する。
優れたパフォーマンスにもかかわらず、ChatGPTのようなLLMは、かなりの例において、真実に対する信念を維持できないことに気付きました。
論文 参考訳（メタデータ） (2023-05-22T15:47:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。