論文の概要: Evaluating Large Language Models with NeuBAROCO: Syllogistic Reasoning Ability and Human-like Biases

• arxiv url: http://arxiv.org/abs/2306.12567v1
• Date: Wed, 21 Jun 2023 21:04:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-23 16:15:25.069227
• Title: Evaluating Large Language Models with NeuBAROCO: Syllogistic Reasoning Ability and Human-like Biases
• Title（参考訳）: NeuBAROCOを用いた大規模言語モデルの評価--ソロジカル推論能力と人間ライクビアーゼ
• Authors: Risako Ando, Takanobu Morishita, Hirohiko Abe, Koji Mineshima, Mitsuhiro Okada
• Abstract要約: 本稿では,現在行われている大規模言語モデルが,人間に類似した論理的推論に偏りを示すかどうかを考察する。 我々は、人間の推論の認知科学において、よく研究された推論形式であるシロメトリクス推論に焦点を当てる。 ヒトのシロメトリ学的推論において観察されるバイアスは,信念バイアス,変換誤差,大気の影響の3種類である。
• 参考スコア（独自算出の注目度）: 8.583432139919616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates whether current large language models exhibit biases in logical reasoning, similar to humans. Specifically, we focus on syllogistic reasoning, a well-studied form of inference in the cognitive science of human deduction. To facilitate our analysis, we introduce a dataset called NeuBAROCO, originally designed for psychological experiments that assess human logical abilities in syllogistic reasoning. The dataset consists of syllogistic inferences in both English and Japanese. We examine three types of biases observed in human syllogistic reasoning: belief biases, conversion errors, and atmosphere effects. Our findings demonstrate that current large language models struggle more with problems involving these three types of biases.
• Abstract（参考訳）: 本稿では,現在の大規模言語モデルが論理的推論のバイアスを呈するかどうかについて検討する。 具体的には,人間の推論の認知科学においてよく研究されている推論形式であるsyllogistic reasoningに注目した。 そこで本研究では,人間の論理能力を評価する心理実験用に設計されたneubarocoというデータセットを提案する。 データセットは英語と日本語の両方で音節推論から成り立っている。 ヒトのシロメトリクス推論では,信念バイアス,変換誤差,大気影響の3種類のバイアスが観察された。 以上の結果から,現在の大規模言語モデルは,これら3種類のバイアスを伴う問題に苦しむことが明らかとなった。

関連論文リスト

• Large Language Models as Neurolinguistic Subjects: Identifying Internal Representations for Form and Meaning [49.60849499134362]
  本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。 伝統的な精神言語学的評価は、しばしばLSMの真の言語能力を誤って表現する統計バイアスを反映している。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-12T04:16:44Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Exploring Reasoning Biases in Large Language Models Through Syllogism: Insights from the NeuBAROCO Dataset [5.695579108997392]
  本稿では,現在の大規模言語モデルが自然言語の論理的推論をどの程度正確に行うか,という問題について考察する。 我々は,英語と日本語のシロジズム推論問題からなるNeuBAROCOというシロジズムデータセットを提案する。 大きな言語モデルを用いた我々の実験は、これらのモデルが、他のエラー傾向とともに、人間に類似した推論バイアスを示すことを示している。
  論文  参考訳（メタデータ） (2024-08-08T12:10:50Z)
• Cognitive bias in large language models: Cautious optimism meets anti-Panglossian meliorism [0.0]
  大きな言語モデルにおけるバイアスの伝統的な議論は、不公平と密接に結びついたバイアスの概念に焦点を当てている。 最近の研究は、様々な認知バイアスに対して、大きな言語モデルのアウトプットを評価する新たな可能性を高めている。 この議論の哲学的意味は、人間の認知バイアスの合理性や、モデルバイアスの駆動における非表現的データの役割である。
  論文  参考訳（メタデータ） (2023-11-18T01:58:23Z)
• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• A Systematic Comparison of Syllogistic Reasoning in Humans and Language Models [39.77445889769015]
  言語モデルのPaLM2ファミリにおいて、より大きなモデルはより小さなモデルよりも論理的であることを示す。 最大のモデルでさえ体系的な誤りを犯し、その一部は人間の推論バイアスを反映している。 全体として、言語モデルはトレーニングデータに含まれる人間のバイアスを模倣することが多いが、場合によってはそれを克服することができる。
  論文  参考訳（メタデータ） (2023-11-01T11:13:06Z)
• Using Artificial Populations to Study Psychological Phenomena in Neural Models [0.0]
  言語モデルにおける認知行動の調査は、意味のある結果を得るために適切な集団で行う必要がある。 我々は、実験集団を効率的に構築するために、新しいアプローチにおける不確実性推定の作業を活用する。 本研究では,不確実性推定文献の理論的根拠と,言語モデルに関する現在の認知作業からのモチベーションを提供する。
  論文  参考訳（メタデータ） (2023-08-15T20:47:51Z)
• Language Models as Inductive Reasoners [125.99461874008703]
  本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。 タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。 我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
  論文  参考訳（メタデータ） (2022-12-21T11:12:14Z)
• Training Language Models with Natural Language Feedback [51.36137482891037]
  3段階学習アルゴリズムを用いてモデル出力の言語フィードバックから学習する。 合成実験において、まず言語モデルがフィードバックを正確に組み込んで改良を行うかどうかを評価する。 人間の手書きフィードバックのサンプルは100程度しかなく, 学習アルゴリズムはGPT-3モデルを微調整し, ほぼ人間レベルの要約を行う。
  論文  参考訳（メタデータ） (2022-04-29T15:06:58Z)
• Towards an Enhanced Understanding of Bias in Pre-trained Neural Language Models: A Survey with Special Emphasis on Affective Bias [2.6304695993930594]
  本稿では,大規模な事前学習言語モデルにおけるバイアスの理解,それらの発生ステージの分析,およびこれらのバイアスを定量化し緩和する様々な方法を提案する。 ビジネス,医療,教育などの実世界のシステムにおいて,テキストによる情緒的コンピューティングに基づく下流作業の幅広い適用性を考慮すると,感情(感情)の文脈における偏見(感情)、すなわち感情的バイアス(Affective Bias)の探究に特に重点を置いている。 本稿では,将来の研究を支援する各種バイアス評価コーパスの概要と,事前学習言語モデルにおけるバイアス研究の課題について述べる。
  論文  参考訳（メタデータ） (2022-04-21T18:51:19Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。