論文の概要: Generics and Default Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2508.13718v1
• Date: Tue, 19 Aug 2025 10:28:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:31.892634
• Title: Generics and Default Reasoning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるジェネリックとデフォルト推論
• Authors: James Ravi Kirkpatrick, Rachel Katharine Sterken,
• Abstract要約: 本稿では,28の大規模言語モデルにおいて,汎用化を含む20の不可能な推論パターンを推論する能力について検討する。 いくつかのフロンティアモデルが多くのデフォルト推論問題をうまく処理しているのに対して、性能はモデルによって大きく異なり、スタイルが促される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper evaluates the capabilities of 28 large language models (LLMs) to reason with 20 defeasible reasoning patterns involving generic generalizations (e.g., 'Birds fly', 'Ravens are black') central to non-monotonic logic. Generics are of special interest to linguists, philosophers, logicians, and cognitive scientists because of their complex exception-permitting behaviour and their centrality to default reasoning, cognition, and concept acquisition. We find that while several frontier models handle many default reasoning problems well, performance varies widely across models and prompting styles. Few-shot prompting modestly improves performance for some models, but chain-of-thought (CoT) prompting often leads to serious performance degradation (mean accuracy drop -11.14%, SD 15.74% in models performing above 75% accuracy in zero-shot condition, temperature 0). Most models either struggle to distinguish between defeasible and deductive inference or misinterpret generics as universal statements. These findings underscore both the promise and limits of current LLMs for default reasoning.
• Abstract（参考訳）: 本稿では,28の大規模言語モデル(LLM)が,一般一般化(例えば "Birds fly" や "Ravens are black" など)を含む20のデファシブルな推論パターンで推論できることを,非単調論理の中心として評価する。 ジェネリックは、言語学者、哲学者、論理学者、認知科学者にとって特に興味があるのは、それらの複雑な例外許容行動と、デフォルトの推論、認知、概念獲得への中心性のためである。 いくつかのフロンティアモデルが多くのデフォルト推論問題をうまく処理しているのに対して、性能はモデルによって大きく異なり、スタイルが促される。 短いショットプロンプトは一部のモデルの性能を緩やかに改善するが、チェーン・オブ・シンクレット(CoT)のプロンプトは深刻な性能劣化を引き起こす(0ショット条件で75%以上の精度でSD 15.74%)。 ほとんどのモデルは、デファシブル推論とデダクティブ推論の区別に苦労するか、ジェネリックを普遍的なステートメントとして誤解する。 これらの結果は、デフォルト推論における現在のLLMの約束と限界の両方を裏付けるものである。

関連論文リスト

• Stands to Reason: Investigating the Effect of Reasoning on Idiomaticity Detection [2.8330244018167945]
  大規模言語モデルにおける推論能力が慣用性検出性能にどのように影響するかを検討する。 推論の効果は,予想よりも小さく,多様であることがわかった。 より小さなモデルでは、チェーン・オブ・シンクレット(CoT)推論は、Math-tunedの中間モデルから性能を向上するが、ベースモデルのレベルには及ばない。
  論文  参考訳（メタデータ） (2025-08-18T21:17:09Z)
• A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [53.18562650350898]
  思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。 大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-05-29T18:55:05Z)
• Reasoning Towards Fairness: Mitigating Bias in Language Models through Reasoning-Guided Fine-Tuning [12.559028963968247]
  モデルの推論能力と公平性との関係について検討する。 より強力な推論能力を持つ大型モデルは、かなり低いステレオタイプバイアスを示す。 本稿では,先進的推論モデルから構造的推論トレースを抽出し,そのような能力を欠いたモデルに注入する手法であるReGiFTを紹介する。
  論文  参考訳（メタデータ） (2025-04-08T03:21:51Z)
• Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning? [57.17826305464394]
  o1-likeモデルは、既存のLarge Language Models(LLM)の推論能力を改善するための長いチェーン・オブ・ソート(CoT)推論ステップを生成する。 DeltaBenchを導入し、異なる推論タスクのために異なるo1-likeモデルから生成された長いCoTを含む。 DeltaBenchに基づいて、生成した長いCoTのきめ細かい分析を行い、異なるo1モデルの有効性と効率を明らかにする。
  論文  参考訳（メタデータ） (2025-02-26T17:59:27Z)
• Self-supervised Analogical Learning using Language Models [59.64260218737556]
  自己教師型アナログ学習フレームワークであるSALを提案する。 SALは人間の類推過程を模倣し、高品質な記号解を明示的に伝達するようモデルを訓練する。 得られたモデルは、幅広い推論ベンチマークでベース言語モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-03T02:31:26Z)
• JustLogic: A Comprehensive Benchmark for Evaluating Deductive Reasoning in Large Language Models [51.99046112135311]
  LLM(Large Language Models)の厳密な評価のための合成推論ベンチマークであるJustLogicを紹介する。 JustLogicは非常に複雑で、多様な言語パターン、語彙、引数構造を生成することができる。 実験の結果, (i) LLMは人体平均値よりも同等かそれ以上に機能するが, 人体天井よりも著しく低下することがわかった。
  論文  参考訳（メタデータ） (2025-01-24T15:49:10Z)
• Evaluating Consistency and Reasoning Capabilities of Large Language Models [0.0]
  大規模言語モデル(LLM)は現在、学術、研究、ビジネス、金融など様々な分野で広く使われている。 広く採用されているにもかかわらず、これらのモデルはしばしば誤った誤解を招く情報を生み出し、幻覚の傾向を示す。 本稿では,パブリックおよびプロプライエタリLLMの整合性と推論能力を評価・比較することを目的とする。
  論文  参考訳（メタデータ） (2024-04-25T10:03:14Z)
• Multimodal Chain-of-Thought Reasoning in Language Models [94.70184390935661]
  言語(テキスト)と視覚(画像)のモダリティを2段階のフレームワークに組み込んだマルチモーダルCoTを提案する。 その結果,ScienceQA と A-OKVQA のベンチマークは,提案手法の有効性を示した。
  論文  参考訳（メタデータ） (2023-02-02T07:51:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。