論文の概要: Exploring Reasoning Biases in Large Language Models Through Syllogism: Insights from the NeuBAROCO Dataset
- arxiv url: http://arxiv.org/abs/2408.04403v1
- Date: Thu, 8 Aug 2024 12:10:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-09 15:38:36.185214
- Title: Exploring Reasoning Biases in Large Language Models Through Syllogism: Insights from the NeuBAROCO Dataset
- Title（参考訳）: Syllogismによる大規模言語モデルの推論バイアスの探索:NeuBAROCOデータセットからの考察
- Authors: Kentaro Ozeki, Risako Ando, Takanobu Morishita, Hirohiko Abe, Koji Mineshima, Mitsuhiro Okada,
- Abstract要約: 本稿では,現在の大規模言語モデルが自然言語の論理的推論をどの程度正確に行うか,という問題について考察する。
我々は,英語と日本語のシロジズム推論問題からなるNeuBAROCOというシロジズムデータセットを提案する。
大きな言語モデルを用いた我々の実験は、これらのモデルが、他のエラー傾向とともに、人間に類似した推論バイアスを示すことを示している。
- 参考スコア（独自算出の注目度）: 5.695579108997392
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper explores the question of how accurately current large language models can perform logical reasoning in natural language, with an emphasis on whether these models exhibit reasoning biases similar to humans. Specifically, our study focuses on syllogistic reasoning, a form of deductive reasoning extensively studied in cognitive science as a natural form of human reasoning. We present a syllogism dataset called NeuBAROCO, which consists of syllogistic reasoning problems in English and Japanese. This dataset was originally designed for psychological experiments to assess human reasoning capabilities using various forms of syllogisms. Our experiments with leading large language models indicate that these models exhibit reasoning biases similar to humans, along with other error tendencies. Notably, there is significant room for improvement in reasoning problems where the relationship between premises and hypotheses is neither entailment nor contradiction. We also present experimental results and in-depth analysis using a new Chain-of-Thought prompting method, which asks LLMs to translate syllogisms into abstract logical expressions and then explain their reasoning process. Our analysis using this method suggests that the primary limitations of LLMs lie in the reasoning process itself rather than the interpretation of syllogisms.
- Abstract（参考訳）: 本稿では,現在の大規模言語モデルが自然言語の論理的推論をどの程度正確に行うかという問題について考察し,これらのモデルが人間に類似した推論バイアスを示すかどうかを考察する。
具体的には,人間の推論の自然な形態として認知科学において広く研究されている誘因的推論の一形態であるシロメトリクスに焦点をあてる。
我々は,英語と日本語のシロジズム推論問題からなるNeuBAROCOというシロジズムデータセットを提案する。
このデータセットはもともと、様々な形態のシロジズムを用いて人間の推論能力を評価する心理的実験のために設計された。
大きな言語モデルを用いた我々の実験は、これらのモデルが、他のエラー傾向とともに、人間に類似した推論バイアスを示すことを示している。
特に、前提と仮説の関係が必然的かつ矛盾しないような、推論上の問題を改善するための重要な余地がある。
また,新たなChain-of-Thoughtプロンプト法を用いて,Syllogismを抽象論理式に変換し,その推論過程を説明する実験結果と詳細な解析を行った。
本手法を用いて解析した結果, LLM の基本的限界は, 論理学の解釈よりも推論過程そのものにあることが示唆された。
関連論文リスト
- A Systematic Analysis of Large Language Models as Soft Reasoners: The Case of Syllogistic Inferences [5.141416267381492]
我々は、論理学と認知心理学において広範囲に研究されている誘因的推論の領域であるシロメトリクス推論の事例を考察する。
思考の連鎖的推論,文脈内学習,教師付き微調整がシロメトリクス的推論に及ぼす影響について検討した。
以上の結果から,事前学習したLSMの行動は認知科学によって説明できる可能性が示唆された。
論文 参考訳（メタデータ） (2024-06-17T08:59:04Z) - LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。
しかし、それらは自然言語に対して本当に「理性」があるのだろうか?
この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
論文 参考訳（メタデータ） (2024-04-23T21:08:49Z) - Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。
既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。
ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
論文 参考訳（メタデータ） (2024-03-30T00:53:53Z) - UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。
予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。
私たちはUNcommonsenseという新しい英語コーパスをリリースします。
論文 参考訳（メタデータ） (2023-11-14T19:00:55Z) - A Systematic Comparison of Syllogistic Reasoning in Humans and Language Models [39.77445889769015]
言語モデルのPaLM2ファミリにおいて、より大きなモデルはより小さなモデルよりも論理的であることを示す。
最大のモデルでさえ体系的な誤りを犯し、その一部は人間の推論バイアスを反映している。
全体として、言語モデルはトレーニングデータに含まれる人間のバイアスを模倣することが多いが、場合によってはそれを克服することができる。
論文 参考訳（メタデータ） (2023-11-01T11:13:06Z) - Towards a Mechanistic Interpretation of Multi-Step Reasoning
Capabilities of Language Models [107.07851578154242]
言語モデル(LM)は強力な多段階推論能力を持つ。
LMが事前学習コーパスから記憶された回答を不正に処理するか,多段階推論機構を用いてタスクを実行するかは明らかでない。
メカニスティックプローブは,ほとんどの例において,モデルの注意から推論ツリーの情報を検出することができることを示す。
論文 参考訳（メタデータ） (2023-10-23T01:47:29Z) - Evaluating Large Language Models with NeuBAROCO: Syllogistic Reasoning
Ability and Human-like Biases [8.583432139919616]
本稿では,現在行われている大規模言語モデルが,人間に類似した論理的推論に偏りを示すかどうかを考察する。
我々は、人間の推論の認知科学において、よく研究された推論形式であるシロメトリクス推論に焦点を当てる。
ヒトのシロメトリ学的推論において観察されるバイアスは,信念バイアス,変換誤差,大気の影響の3種類である。
論文 参考訳（メタデータ） (2023-06-21T21:04:11Z) - Large Language Models are In-Context Semantic Reasoners rather than
Symbolic Reasoners [75.85554779782048]
大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。
多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。
本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
論文 参考訳（メタデータ） (2023-05-24T07:33:34Z) - Natural Language Reasoning, A Survey [16.80326702160048]
概念的には、NLPにおける自然言語推論の明確な定義を提供する。
我々はNLPにおける自然言語推論に関する総合的な文献レビューを行う。
論文はまた、多段階推論の強力なパラダイムである後方推論を特定し、考察する。
論文 参考訳（メタデータ） (2023-03-26T13:44:18Z) - Logical Reasoning over Natural Language as Knowledge Representation: A
Survey [43.29703101875716]
本稿では,自然言語を知識表現として,事前学習した言語モデルを推論として利用する論理推論の新しいパラダイムについて概説する。
この新たなパラダイムは、形式表現の多くの課題を軽減するだけでなく、エンドツーエンドのニューラルメソッドよりもアドバンテージを持つため、有望である。
論文 参考訳（メタデータ） (2023-03-21T16:56:05Z) - Language Models as Inductive Reasoners [125.99461874008703]
本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。
タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。
我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
論文 参考訳（メタデータ） (2022-12-21T11:12:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。