論文の概要: A Systematic Comparison of Syllogistic Reasoning in Humans and Language
Models
- arxiv url: http://arxiv.org/abs/2311.00445v1
- Date: Wed, 1 Nov 2023 11:13:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 13:54:38.351139
- Title: A Systematic Comparison of Syllogistic Reasoning in Humans and Language
Models
- Title(参考訳): 人間と言語モデルにおけるソロジカル推論の体系的比較
- Authors: Tiwalayo Eisape, MH Tessler, Ishita Dasgupta, Fei Sha, Sjoerd van
Steenkiste, Tal Linzen
- Abstract要約: より大きなモデルの方が小さいモデルよりも論理的であり、人間よりも論理的であることを示す。
言語モデルはトレーニングデータに含まれる人間のバイアスを模倣するが、場合によっては克服できる。
- 参考スコア(独自算出の注目度): 42.1456459324421
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A central component of rational behavior is logical inference: the process of
determining which conclusions follow from a set of premises. Psychologists have
documented several ways in which humans' inferences deviate from the rules of
logic. Do language models, which are trained on text generated by humans,
replicate these biases, or are they able to overcome them? Focusing on the case
of syllogisms -- inferences from two simple premises, which have been studied
extensively in psychology -- we show that larger models are more logical than
smaller ones, and also more logical than humans. At the same time, even the
largest models make systematic errors, some of which mirror human reasoning
biases such as ordering effects and logical fallacies. Overall, we find that
language models mimic the human biases included in their training data, but are
able to overcome them in some cases.
- Abstract(参考訳): 合理的行動の中心的な構成要素は論理的推論であり、前提からどの結論が従うかを決定する過程である。
心理学者は、人間の推論が論理の規則から逸脱するいくつかの方法を文書化してきた。
人間によって生成されたテキストで訓練された言語モデルは、これらのバイアスを再現するか、克服できるのか?
サイロジズム(Syllogisms)の場合(心理学で広く研究されている2つの単純な前提からの推論)に着目して、より大きなモデルはより小さなものよりも論理的で、人間よりも論理的であることを示す。
同時に、最大のモデルでさえ体系的な誤りを犯し、そのうちのいくつかは、順序付け効果や論理的誤りといった人間の推論バイアスを反映している。
全体として、言語モデルはトレーニングデータに含まれる人間のバイアスを模倣するが、場合によってはそれを克服できる。
関連論文リスト
- UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [65.07706249058549]
異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。
予期せぬ結果のコンテキストが与えられた場合、このタスクは自然言語の説明を生成するために故意に推論する必要がある。
私たちはUNcommonsenseという新しい英語コーパスをリリースします。
論文 参考訳(メタデータ) (2023-11-14T19:00:55Z) - Empower Nested Boolean Logic via Self-Supervised Curriculum Learning [67.46052028752327]
大規模言語モデルを含む事前学習された言語モデルは、多言語論理に直面するランダムセレクタのように振る舞う。
この基本的能力で言語モデルを強化するために,本稿では,新たな自己教師付き学習手法であるtextitCurriculum Logical Reasoning (textscClr) を提案する。
論文 参考訳(メタデータ) (2023-10-09T06:54:02Z) - Enhancing Zero-Shot Chain-of-Thought Reasoning in Large Language Models
through Logic [20.453520570295236]
そこで我々は,大規模言語モデルのゼロショット・チェーン・オブ・思想推論能力を改善するために,LoT (Logical Thoughts) を提案する。
LoTはシンボリック論理、特にReducetio ad Absurdumに根ざした原理を用いて、推論プロセスを段階的に体系的に検証し、修正する。
論文 参考訳(メタデータ) (2023-09-23T11:21:12Z) - Studying and improving reasoning in humans and machines [0.0]
大規模言語モデル(LLM)と人間における推論について検討し比較する。
以上の結果から, 含んでいるモデルの多くは, しばしばエラーを起こし, インデューサに基づく人間の推論に類似した推論誤差を示していた。
論文 参考訳(メタデータ) (2023-09-21T21:02:05Z) - The Neuro-Symbolic Inverse Planning Engine (NIPE): Modeling
Probabilistic Social Inferences from Linguistic Inputs [50.32802502923367]
確率的目標推論領域における言語駆動の過程と社会的推論への影響について検討する。
本稿では,エージェントシナリオの言語入力から目標推定を行うニューロシンボリックモデルを提案する。
我々のモデルは人間の反応パターンと密に一致し、LLM単独の使用よりも人間の判断をより良く予測する。
論文 参考訳(メタデータ) (2023-06-25T19:38:01Z) - Evaluating Large Language Models with NeuBAROCO: Syllogistic Reasoning
Ability and Human-like Biases [8.583432139919616]
本稿では,現在行われている大規模言語モデルが,人間に類似した論理的推論に偏りを示すかどうかを考察する。
我々は、人間の推論の認知科学において、よく研究された推論形式であるシロメトリクス推論に焦点を当てる。
ヒトのシロメトリ学的推論において観察されるバイアスは,信念バイアス,変換誤差,大気の影響の3種類である。
論文 参考訳(メタデータ) (2023-06-21T21:04:11Z) - A fine-grained comparison of pragmatic language understanding in humans
and language models [2.231167375820083]
言語モデルと人間を7つの現実的な現象で比較する。
最大のモデルでは精度が高く,人間の誤りパターンと一致していることがわかった。
モデルと人間が同様の言語的手がかりに敏感であるという予備的な証拠がある。
論文 参考訳(メタデータ) (2022-12-13T18:34:59Z) - Language models show human-like content effects on reasoning tasks [34.943954878281254]
抽象推論はインテリジェントシステムにとって重要な能力である。
例えば、大言語モデル (LM) は推論タスクにおいて上述の精度を達成するが、多くの不完全性を示す。
パフォーマンスの場合、推論は人間の知識と内容に影響を受けます。
この知見は,人間の認知的影響を理解することにつながる。
論文 参考訳(メタデータ) (2022-07-14T16:51:09Z) - Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。
既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。
比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文 参考訳(メタデータ) (2022-02-21T18:32:24Z) - Mechanisms for Handling Nested Dependencies in Neural-Network Language
Models and Humans [75.15855405318855]
我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。
ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。
我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
論文 参考訳(メタデータ) (2020-06-19T12:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。