論文の概要: A Systematic Comparison of Syllogistic Reasoning in Humans and Language Models
- arxiv url: http://arxiv.org/abs/2311.00445v2
- Date: Thu, 11 Apr 2024 16:49:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-12 19:08:26.486448
- Title: A Systematic Comparison of Syllogistic Reasoning in Humans and Language Models
- Title(参考訳): 人間と言語モデルにおけるソロジカル推論の体系的比較
- Authors: Tiwalayo Eisape, MH Tessler, Ishita Dasgupta, Fei Sha, Sjoerd van Steenkiste, Tal Linzen,
- Abstract要約: 言語モデルのPaLM2ファミリにおいて、より大きなモデルはより小さなモデルよりも論理的であることを示す。
最大のモデルでさえ体系的な誤りを犯し、その一部は人間の推論バイアスを反映している。
全体として、言語モデルはトレーニングデータに含まれる人間のバイアスを模倣することが多いが、場合によってはそれを克服することができる。
- 参考スコア(独自算出の注目度): 39.77445889769015
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A central component of rational behavior is logical inference: the process of determining which conclusions follow from a set of premises. Psychologists have documented several ways in which humans' inferences deviate from the rules of logic. Do language models, which are trained on text generated by humans, replicate such human biases, or are they able to overcome them? Focusing on the case of syllogisms -- inferences from two simple premises -- we show that, within the PaLM2 family of transformer language models, larger models are more logical than smaller ones, and also more logical than humans. At the same time, even the largest models make systematic errors, some of which mirror human reasoning biases: they show sensitivity to the (irrelevant) ordering of the variables in the syllogism, and draw confident but incorrect inferences from particular syllogisms (syllogistic fallacies). Overall, we find that language models often mimic the human biases included in their training data, but are able to overcome them in some cases.
- Abstract(参考訳): 合理的行動の中心的な構成要素は論理的推論(英語版)であり、どの結論が前提の集合から従うかを決定する過程である。
心理学者は、人間の推論が論理の規則から逸脱するいくつかの方法を文書化してきた。
人間によって生成されたテキストで訓練された言語モデルは、そのような人間のバイアスを再現するだろうか?
2つの単純な前提から推測されるシロジズム(syllogisms)のケースに着目して、PaLM2のトランスフォーマー言語モデルでは、より大きなモデルはより小さなものよりも論理的であり、人間よりも論理的であることを示す。
それと同時に、最も大きなモデルでさえ体系的な誤りを犯し、そのうちのいくつかは人間の推論バイアスを反映している:それらは、シロジズムにおける変数の(無関係な)順序に対する感受性を示し、特定のシロジズム(シロジズムの誤記)から自信はあるが誤った推論を引き出す。
全体として、言語モデルはトレーニングデータに含まれる人間のバイアスを模倣することが多いが、場合によってはそれを克服することができる。
関連論文リスト
- Perceptions of Linguistic Uncertainty by Language Models and Humans [26.69714008538173]
「おそらく」や「非常にありそうにない」といった不確かさの表現は、人間の言語に広まる。
言語モデルが不確実性の言語表現を数値応答にどうマッピングするかを検討する。
10モデル中8モデルで不確実性表現を確率的応答に人間的な方法でマッピングできることが判明した。
論文 参考訳(メタデータ) (2024-07-22T17:26:12Z) - UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。
予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。
私たちはUNcommonsenseという新しい英語コーパスをリリースします。
論文 参考訳(メタデータ) (2023-11-14T19:00:55Z) - Empower Nested Boolean Logic via Self-Supervised Curriculum Learning [67.46052028752327]
大規模言語モデルを含む事前学習された言語モデルは、多言語論理に直面するランダムセレクタのように振る舞う。
この基本的能力で言語モデルを強化するために,本稿では,新たな自己教師付き学習手法であるtextitCurriculum Logical Reasoning (textscClr) を提案する。
論文 参考訳(メタデータ) (2023-10-09T06:54:02Z) - The Neuro-Symbolic Inverse Planning Engine (NIPE): Modeling
Probabilistic Social Inferences from Linguistic Inputs [50.32802502923367]
確率的目標推論領域における言語駆動の過程と社会的推論への影響について検討する。
本稿では,エージェントシナリオの言語入力から目標推定を行うニューロシンボリックモデルを提案する。
我々のモデルは人間の反応パターンと密に一致し、LLM単独の使用よりも人間の判断をより良く予測する。
論文 参考訳(メタデータ) (2023-06-25T19:38:01Z) - Evaluating Large Language Models with NeuBAROCO: Syllogistic Reasoning
Ability and Human-like Biases [8.583432139919616]
本稿では,現在行われている大規模言語モデルが,人間に類似した論理的推論に偏りを示すかどうかを考察する。
我々は、人間の推論の認知科学において、よく研究された推論形式であるシロメトリクス推論に焦点を当てる。
ヒトのシロメトリ学的推論において観察されるバイアスは,信念バイアス,変換誤差,大気の影響の3種類である。
論文 参考訳(メタデータ) (2023-06-21T21:04:11Z) - A fine-grained comparison of pragmatic language understanding in humans
and language models [2.231167375820083]
言語モデルと人間を7つの現実的な現象で比較する。
最大のモデルでは精度が高く,人間の誤りパターンと一致していることがわかった。
モデルと人間が同様の言語的手がかりに敏感であるという予備的な証拠がある。
論文 参考訳(メタデータ) (2022-12-13T18:34:59Z) - Language models show human-like content effects on reasoning tasks [33.677483386820555]
大規模言語モデル (LM) は推論タスクの超精度を達成するが、多くの不完全性を示す。
人間の推論は現実世界の知識に影響され、意味的コンテンツが論理的推論をサポートする場合、確実に効果を示す。
本研究は,これらの認知的影響と,言語モデルの性能に寄与する要因の両方に影響を及ぼすものである。
論文 参考訳(メタデータ) (2022-07-14T16:51:09Z) - Testing the limits of natural language models for predicting human
language judgments [0.27309692684728604]
諸言語モデルのモデルと人間の一貫性を、議論を呼んでいる文対を用いて比較した。
議論文ペアは、モデル失敗を明らかにするのに非常に効果的であることが証明された。
最も人間一貫性のあるモデルは GPT-2 であったが、実験では人間の知覚との整合性の重大な欠点も明らかにした。
論文 参考訳(メタデータ) (2022-04-07T17:12:57Z) - Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。
既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。
比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文 参考訳(メタデータ) (2022-02-21T18:32:24Z) - Mechanisms for Handling Nested Dependencies in Neural-Network Language
Models and Humans [75.15855405318855]
我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。
ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。
我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
論文 参考訳(メタデータ) (2020-06-19T12:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。