論文の概要: DERELAB: Probing Defeasible Reasoning and Confirmation Bias in LLMs with a Generative Benchmark

• arxiv url: http://arxiv.org/abs/2608.30413v1
• Date: Mon, 31 Aug 2026 08:10:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.301966
• Title: DERELAB: Probing Defeasible Reasoning and Confirmation Bias in LLMs with a Generative Benchmark
• Title（参考訳）: DERELAB:ジェネレーティブベンチマークによるLLMにおける決定可能な推論と確認バイアスの提案
• Abstract要約: 決定的推論(Dedefeasible reasoning)とは、推定が妥当な現在の証拠から引き出されるが、新しい証拠の導入によって取り除くことができる推論の一種である。 本稿では,パラメータ化されたグラフ構造から多ターンの信念更新会話を生成する生成フレームワークであるDeReLabを紹介する。 我々は9つのオープンかつプロプライエタリな大規模言語モデルを評価し、ほぼ全員が一貫性のない更新に抵抗しながら、一貫性のある証拠を受け入れる体系的な傾向を示した。
• 参考スコア（独自算出の注目度）: 6.835919520017402
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Defeasible reasoning is a type of reasoning where inferences are drawn from plausible current evidence, but can be retracted upon the introduction of newer evidence. Although recent studies have examined language-model behaviors in defeasible reasoning, the datasets have been static and lack wide coverage of non-monotonic reasoning categories. We introduce DeReLab, a generative framework that produces multi-turn belief-updating conversations from parameterized graph structures across default and inheritance reasoning, with formally verified ground truth at every turn, enabling controlled measurement of how models respond to confirming and disconfirming evidence. This controlled generation process creates a testbed for experimental designs that isolate specific reasoning demands. Applying this capability to the study of confirmation bias, we evaluate nine open and proprietary large language models and find that nearly all exhibit a systematic tendency to accept congruent evidence while resisting incongruent updates, with several models correctly identifying a weakening update yet failing to revise their conclusion. We believe our work and findings will facilitate future research on evaluating language models in defeasible reasoning.
• Abstract（参考訳）: 決定的推論(Dedefeasible reasoning)とは、推定が妥当な現在の証拠から引き出されるが、新しい証拠の導入によって取り除くことができる推論の一種である。 近年の研究では、非単調な推論における言語モデル行動について検討されているが、データセットは静的であり、非単調な推論カテゴリの広範な範囲を欠いている。 DeReLabは、パラメータ化されたグラフ構造から、デフォルトおよび継承推論を通じてマルチターンの信念更新会話を生成する、生成フレームワークである。 この制御された生成プロセスは、特定の推論要求を分離する実験的な設計のためのテストベッドを生成する。 この能力を検証バイアスの研究に適用し、9つのオープンかつプロプライエタリな大規模言語モデルを評価し、ほぼ全員が一貫性のない更新に抵抗しながら、一貫性のない証拠を受け入れる体系的な傾向を示し、いくつかのモデルが弱体化した更新を正しく識別するが、結論を更新することができないことを発見した。 我々の研究と発見は、言語モデルの評価を非実現可能な推論で行うための将来の研究を促進するだろうと信じている。

関連論文リスト

• Don't Let Me Ask for It: LLMs Show Deficiencies in Active Multi-Turn Information Acquisition for Abductive Inference [15.768100289136392]
  帰納的推論は、観察された証拠を説明し、新しい証拠が利用可能になるにつれてそれらを修正する仮説を形成する必要がある。 本稿では、異なる相互作用モード下でこれらの振る舞いを研究するための対話型プローブであるAlien Abductionを紹介する。
  論文  参考訳（メタデータ） (2026-08-04T09:39:24Z)
• FALSIFYBENCH: Evaluating Inductive Reasoning in LLMs with Rule Discovery Games [2.959715295394151]
  従来のWason 2-4-6タスクに触発された仮説駆動推論のための評価フレームワークであるFALSIFYBENCHを紹介する。 このタスクは、仮説の生成、証拠収集、そして証拠の確認と不確認の両方に対応する信念の修正という、科学的推論の重要な要素を捉えている。 モデルファミリとスケールをまたいだ12 LLM の評価は、推論モデルが命令調整モデルよりも一般的に強力な科学的推論モデルであることを示しているが、最適性能に近づくモデルはない。
  論文  参考訳（メタデータ） (2026-06-03T11:33:17Z)
• Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
  テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。 本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。 その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
  論文  参考訳（メタデータ） (2026-01-07T16:39:34Z)
• A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [58.32070787537946]
  思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。 大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-05-29T18:55:05Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Lean-STaR: Learning to Interleave Thinking and Proving [53.923617816215774]
  証明の各ステップに先立って,非公式な思考を生成するために,言語モデルをトレーニングするフレームワークであるLean-STaRを紹介します。 Lean-STaRは、Lean定理証明環境内のminiF2F-testベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-07-14T01:43:07Z)
• Hypothesis Testing Prompting Improves Deductive Reasoning in Large Language Models [19.879616265315637]
  textitHypothesis Testing Promptingは、中間推論ステップ中に結論の仮定、後方推論、事実検証を追加する。 実験によると、仮説テストは効果を著しく改善するだけでなく、より合理的で標準化された推論プロセスを生成する。
  論文  参考訳（メタデータ） (2024-05-09T08:46:17Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• Is My Model Using The Right Evidence? Systematic Probes for Examining Evidence-Based Tabular Reasoning [26.168211982441875]
  ニューラルモデルは、推論を含むNLPタスク全体での最先端のパフォーマンスを定期的に報告する。 実験の結果, BERTをベースとした現在の最先端モデルでは, 以下の数値を適切に判断できないことがわかった。
  論文  参考訳（メタデータ） (2021-08-02T01:14:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。