論文の概要: Evaluating Large Language Models with NeuBAROCO: Syllogistic Reasoning Ability and Human-like Biases

• arxiv url: http://arxiv.org/abs/2306.12567v1
• Date: Wed, 21 Jun 2023 21:04:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-23 16:15:25.069227
• Title: Evaluating Large Language Models with NeuBAROCO: Syllogistic Reasoning Ability and Human-like Biases
• Title（参考訳）: NeuBAROCOを用いた大規模言語モデルの評価--ソロジカル推論能力と人間ライクビアーゼ
• Authors: Risako Ando, Takanobu Morishita, Hirohiko Abe, Koji Mineshima, Mitsuhiro Okada
• Abstract要約: 本稿では,現在行われている大規模言語モデルが,人間に類似した論理的推論に偏りを示すかどうかを考察する。 我々は、人間の推論の認知科学において、よく研究された推論形式であるシロメトリクス推論に焦点を当てる。 ヒトのシロメトリ学的推論において観察されるバイアスは,信念バイアス,変換誤差,大気の影響の3種類である。
• 参考スコア（独自算出の注目度）: 8.583432139919616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates whether current large language models exhibit biases in logical reasoning, similar to humans. Specifically, we focus on syllogistic reasoning, a well-studied form of inference in the cognitive science of human deduction. To facilitate our analysis, we introduce a dataset called NeuBAROCO, originally designed for psychological experiments that assess human logical abilities in syllogistic reasoning. The dataset consists of syllogistic inferences in both English and Japanese. We examine three types of biases observed in human syllogistic reasoning: belief biases, conversion errors, and atmosphere effects. Our findings demonstrate that current large language models struggle more with problems involving these three types of biases.
• Abstract（参考訳）: 本稿では,現在の大規模言語モデルが論理的推論のバイアスを呈するかどうかについて検討する。 具体的には,人間の推論の認知科学においてよく研究されている推論形式であるsyllogistic reasoningに注目した。 そこで本研究では,人間の論理能力を評価する心理実験用に設計されたneubarocoというデータセットを提案する。 データセットは英語と日本語の両方で音節推論から成り立っている。 ヒトのシロメトリクス推論では,信念バイアス,変換誤差,大気影響の3種類のバイアスが観察された。 以上の結果から,現在の大規模言語モデルは,これら3種類のバイアスを伴う問題に苦しむことが明らかとなった。

関連論文リスト

• Cognitive bias in large language models: Cautious optimism meets anti-Panglossian meliorism [0.0]
  大きな言語モデルにおけるバイアスの伝統的な議論は、不公平と密接に結びついたバイアスの概念に焦点を当てている。 最近の研究は、様々な認知バイアスに対して、大きな言語モデルのアウトプットを評価する新たな可能性を高めている。 この議論の哲学的意味は、人間の認知バイアスの合理性や、モデルバイアスの駆動における非表現的データの役割である。
  論文  参考訳（メタデータ） (2023-11-18T01:58:23Z)
• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• A Systematic Comparison of Syllogistic Reasoning in Humans and Language Models [39.77445889769015]
  言語モデルのPaLM2ファミリにおいて、より大きなモデルはより小さなモデルよりも論理的であることを示す。 最大のモデルでさえ体系的な誤りを犯し、その一部は人間の推論バイアスを反映している。 全体として、言語モデルはトレーニングデータに含まれる人間のバイアスを模倣することが多いが、場合によってはそれを克服することができる。
  論文  参考訳（メタデータ） (2023-11-01T11:13:06Z)
• Using Artificial Populations to Study Psychological Phenomena in Neural Models [0.0]
  言語モデルにおける認知行動の調査は、意味のある結果を得るために適切な集団で行う必要がある。 我々は、実験集団を効率的に構築するために、新しいアプローチにおける不確実性推定の作業を活用する。 本研究では,不確実性推定文献の理論的根拠と,言語モデルに関する現在の認知作業からのモチベーションを提供する。
  論文  参考訳（メタデータ） (2023-08-15T20:47:51Z)
• Comparing Biases and the Impact of Multilingual Training across Multiple Languages [70.84047257764405]
  ダウンストリーム感情分析タスクにおいて,イタリア語,中国語,英語,ヘブライ語,スペイン語のバイアス分析を行う。 我々は、既存の感情バイアスのテンプレートを、人種、宗教、国籍、性別の4つの属性で、イタリア語、中国語、ヘブライ語、スペイン語に適応させる。 以上の結果から,各言語の文化に支配的な集団の嗜好など,バイアス表現の類似性を明らかにした。
  論文  参考訳（メタデータ） (2023-05-18T18:15:07Z)
• Language Models as Inductive Reasoners [125.99461874008703]
  本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。 タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。 我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
  論文  参考訳（メタデータ） (2022-12-21T11:12:14Z)
• A fine-grained comparison of pragmatic language understanding in humans and language models [2.231167375820083]
  言語モデルと人間を7つの現実的な現象で比較する。 最大のモデルでは精度が高く,人間の誤りパターンと一致していることがわかった。 モデルと人間が同様の言語的手がかりに敏感であるという予備的な証拠がある。
  論文  参考訳（メタデータ） (2022-12-13T18:34:59Z)
• Training Language Models with Natural Language Feedback [51.36137482891037]
  3段階学習アルゴリズムを用いてモデル出力の言語フィードバックから学習する。 合成実験において、まず言語モデルがフィードバックを正確に組み込んで改良を行うかどうかを評価する。 人間の手書きフィードバックのサンプルは100程度しかなく, 学習アルゴリズムはGPT-3モデルを微調整し, ほぼ人間レベルの要約を行う。
  論文  参考訳（メタデータ） (2022-04-29T15:06:58Z)
• Towards an Enhanced Understanding of Bias in Pre-trained Neural Language Models: A Survey with Special Emphasis on Affective Bias [2.6304695993930594]
  本稿では,大規模な事前学習言語モデルにおけるバイアスの理解,それらの発生ステージの分析,およびこれらのバイアスを定量化し緩和する様々な方法を提案する。 ビジネス,医療,教育などの実世界のシステムにおいて,テキストによる情緒的コンピューティングに基づく下流作業の幅広い適用性を考慮すると,感情(感情)の文脈における偏見(感情)、すなわち感情的バイアス(Affective Bias)の探究に特に重点を置いている。 本稿では,将来の研究を支援する各種バイアス評価コーパスの概要と,事前学習言語モデルにおけるバイアス研究の課題について述べる。
  論文  参考訳（メタデータ） (2022-04-21T18:51:19Z)
• Perception Point: Identifying Critical Learning Periods in Speech for Bilingual Networks [58.24134321728942]
  ディープニューラルベース視覚唇読解モデルにおける認知的側面を比較し,識別する。 我々は、認知心理学におけるこれらの理論と独自のモデリングの間に強い相関関係を観察する。
  論文  参考訳（メタデータ） (2021-10-13T05:30:50Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。