論文の概要: BIS Reasoning 1.0: The First Large-Scale Japanese Benchmark for Belief-Inconsistent Syllogistic Reasoning

• arxiv url: http://arxiv.org/abs/2506.06955v2
• Date: Wed, 18 Jun 2025 07:39:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 16:34:05.470908
• Title: BIS Reasoning 1.0: The First Large-Scale Japanese Benchmark for Belief-Inconsistent Syllogistic Reasoning
• Title（参考訳）: BIS Reasoning 1.0: 信頼できないシロメトリー推論のための最初の大規模日本語ベンチマーク
• Authors: Ha-Thanh Nguyen, Chaoran Liu, Koichi Takeda, Yusuke Miyao, Pontus Stenetorp, Qianying Liu, Su Myat Noe, Hideyuki Tachibana, Sadao Kurohashi,
• Abstract要約: 本稿では,大規模言語モデル(LLMs)における信念不整合推論を明示的に評価する目的で設計された,最初の大規模シロメトリクス推論問題データセットであるBIS Reasoning 1.0を提案する。 NeuBAROCOやJFLDのような以前のデータセットとは異なり、BIS Reasoning 1.0は論理的に妥当だが信念に一貫性のないシロジズムを導入し、人間のコーパスで訓練されたLSMの推論バイアスを明らかにする。
• 参考スコア（独自算出の注目度）: 43.33721249052678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present BIS Reasoning 1.0, the first large-scale Japanese dataset of syllogistic reasoning problems explicitly designed to evaluate belief-inconsistent reasoning in large language models (LLMs). Unlike prior datasets such as NeuBAROCO and JFLD, which focus on general or belief-aligned reasoning, BIS Reasoning 1.0 introduces logically valid yet belief-inconsistent syllogisms to uncover reasoning biases in LLMs trained on human-aligned corpora. We benchmark state-of-the-art models - including GPT models, Claude models, and leading Japanese LLMs - revealing significant variance in performance, with GPT-4o achieving 79.54% accuracy. Our analysis identifies critical weaknesses in current LLMs when handling logically valid but belief-conflicting inputs. These findings have important implications for deploying LLMs in high-stakes domains such as law, healthcare, and scientific literature, where truth must override intuitive belief to ensure integrity and safety.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLMs)における信念不整合推論を明示的に評価する目的で設計された,最初の大規模シロメトリクス推論問題データセットであるBIS Reasoning 1.0を提案する。 一般または信念に整合した推論に焦点を当てたNeuBAROCOやJFLDのような以前のデータセットとは異なり、BIS Reasoning 1.0は人間のコーパスに基づいて訓練されたLLMにおける推論バイアスを明らかにするために論理的に妥当だが、信念に一貫性のないシロジズムを導入している。 我々は、GPTモデル、クロードモデル、日本のLLMを含む最先端モデルのベンチマークを行い、GPT-4oの精度は79.54%であった。 本分析では、論理的に妥当だが信念にこだわる入力を扱う場合、現在のLLMの重大な弱点を同定する。 これらの発見は、法、医療、科学文献などの高い領域にLSMを配置する上で重要な意味を持ち、真理は信頼性と安全性を確保するために直観的な信念を覆さなければならない。

関連論文リスト

• Everything You Wanted to Know About LLM-based Vulnerability Detection But Were Afraid to Ask [30.819697001992154]
  大規模言語モデルは、自動脆弱性検出のための有望なツールである。 LLMは現実世界の脆弱性を検出するのに本当に効果的か? 本稿では, LLM は (i) 信頼できないこと, (ii) コードパッチに敏感であること, (iii) モデルスケールにまたがる性能評価の3つを, 広く支持されているコミュニティの信念に異議を唱える。
  論文  参考訳（メタデータ） (2025-04-18T05:32:47Z)
• Belief in the Machine: Investigating Epistemological Blind Spots of Language Models [51.63547465454027]
  言語モデル(LM)は、医療、法律、ジャーナリズムといった分野において、信頼できる意思決定に不可欠である。 本研究は,新しいデータセットであるKaBLEを用いて,GPT-4,Claude-3,Llama-3を含む現代のLMの能力を体系的に評価する。 まず、LMは事実シナリオで86%の精度を達成するが、その性能は偽シナリオで著しく低下する。 第二に、特にこれらの信念が事実データと矛盾する場合、LMは個人的信念を認識し、肯定するのに苦労する。
  論文  参考訳（メタデータ） (2024-10-28T16:38:20Z)
• Aligning with Logic: Measuring, Evaluating and Improving Logical Preference Consistency in Large Language Models [31.558429029429863]
  大規模言語モデル(LLM)は、信頼できる意思決定システムをサポートするために予測可能で信頼性が高いと期待されている。 本研究では、より信頼性の高いLLMシステムを構築するための基本的な要件として、論理的選好整合性を検討する。 一貫性の向上はLLM駆動論理ベースのアルゴリズムの性能向上につながることを示す。
  論文  参考訳（メタデータ） (2024-10-03T04:34:04Z)
• A Systematic Analysis of Large Language Models as Soft Reasoners: The Case of Syllogistic Inferences [5.141416267381492]
  我々は、論理学と認知心理学において広範囲に研究されている誘因的推論の領域であるシロメトリクス推論の事例を考察する。 思考の連鎖的推論,文脈内学習,教師付き微調整がシロメトリクス的推論に及ぼす影響について検討した。 以上の結果から,事前学習したLSMの行動は認知科学によって説明できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-17T08:59:04Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。