論文の概要: Inductive reasoning in humans and large language models

• arxiv url: http://arxiv.org/abs/2306.06548v3
• Date: Fri, 4 Aug 2023 01:36:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-07 10:15:17.462382
• Title: Inductive reasoning in humans and large language models
• Title（参考訳）: ヒトと大言語モデルにおける帰納的推論
• Authors: Simon J. Han, Keith Ransom, Andrew Perfors, Charles Kemp
• Abstract要約: GPT-3.5 と GPT-4 をヒト誘導的推論における古典的問題に適用した。 GPT-3.5は人間の行動の多くの側面を捉えるのに苦労しているが、GPT-4はより成功している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The impressive recent performance of large language models has led many to wonder to what extent they can serve as models of general intelligence or are similar to human cognition. We address this issue by applying GPT-3.5 and GPT-4 to a classic problem in human inductive reasoning known as property induction. Over two experiments, we elicit human judgments on a range of property induction tasks spanning multiple domains. Although GPT-3.5 struggles to capture many aspects of human behaviour, GPT-4 is much more successful: for the most part, its performance qualitatively matches that of humans, and the only notable exception is its failure to capture the phenomenon of premise non-monotonicity. Our work demonstrates that property induction allows for interesting comparisons between human and machine intelligence and provides two large datasets that can serve as benchmarks for future work in this vein.
• Abstract（参考訳）: 近年の大規模言語モデルのパフォーマンスは、一般の知性モデルとして、あるいは人間の認知と類似する程度に疑問を呈する声が多かった。 本稿では,GPT-3.5 と GPT-4 を人間誘導推論における古典的問題に適用することにより,この問題に対処する。 2つの実験で、複数のドメインにまたがる様々な特性誘導タスクについて、人間の判断を導き出す。 GPT-3.5は人間の行動の多くの側面を捉えるのに苦労しているが、GPT-4はより成功している。 我々の研究は、プロパティ誘導が人間と機械のインテリジェンスを興味深い比較を可能にし、この領域における将来の作業のベンチマークとして機能する2つの大きなデータセットを提供することを示した。

関連論文リスト

• Mind Your Step (by Step): Chain-of-Thought can Reduce Performance on Tasks where Thinking Makes Humans Worse [9.542503507653494]
  CoT(Chain-of-Thought)は、大規模言語やマルチモーダルモデルを扱う上で広く使われている戦略である。 認知心理学からインスピレーションを得て,CoTが性能を低下させるタスクの特徴を同定する。 予測時間推論を用いた場合,多種多様な最先端モデル群が性能低下を示すことが判明した。
  論文  参考訳（メタデータ） (2024-10-27T18:30:41Z)
• Metacognitive Monitoring: A Human Ability Beyond Generative Artificial Intelligence [0.0]
  大規模言語モデル(LLM)は、人間の認知過程と顕著に一致している。 本研究は,ChatGPTがヒトに類似したメタ認知モニタリング能力を持っているかを検討する。
  論文  参考訳（メタデータ） (2024-10-17T09:42:30Z)
• Human vs. LMMs: Exploring the Discrepancy in Emoji Interpretation and Usage in Digital Communication [68.40865217231695]
  本研究は,ヒト型絵文字の複製におけるGPT-4Vの挙動について検討した。 この結果は、人間の解釈の主観的な性質から、人間とGPT-4Vの行動に明確な相違があることを示唆している。
  論文  参考訳（メタデータ） (2024-01-16T08:56:52Z)
• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• The Generative AI Paradox: "What It Can Create, It May Not Understand" [81.89252713236746]
  生成AIの最近の波は、潜在的に超人的な人工知能レベルに対する興奮と懸念を引き起こしている。 同時に、モデルは、専門家でない人でも期待できないような理解の基本的な誤りを示している。 一見超人的な能力と、ごく少数の人間が起こすエラーの持続性を、どうやって再現すればよいのか?
  論文  参考訳（メタデータ） (2023-10-31T18:07:07Z)
• LLM Cognitive Judgements Differ From Human [0.03626013617212666]
  認知科学文献からの限定データ帰納的推論課題におけるGPT-3とChatGPTの機能について検討する。 その結果、これらのモデルの認知的判断は人間に似ていないことが示唆された。
  論文  参考訳（メタデータ） (2023-07-20T16:22:36Z)
• Does Conceptual Representation Require Embodiment? Insights From Large Language Models [9.390117546307042]
  ヒトとChatGPT(GPT-3.5およびGPT-4)の4,442の語彙概念の表現の比較 2) GPT-4 は GPT-3.5 よりも優れており,GPT-4 の利得は付加的な視覚学習と結びついており,触覚やイメージ容易性などの関連性にも寄与すると考えられる。
  論文  参考訳（メタデータ） (2023-05-30T15:06:28Z)
• Sparks of Artificial General Intelligence: Early experiments with GPT-4 [66.1188263570629]
  OpenAIが開発したGPT-4は、前例のない規模の計算とデータを使って訓練された。 我々は, GPT-4が数学, コーディング, ビジョン, 医学, 法学, 心理学などにまたがる, 新規で困難な課題を解くことを実証した。 我々は、GPT-4を人工知能(AGI)システムの早期(まだ未完成)版と見なすことができると信じている。
  論文  参考訳（メタデータ） (2023-03-22T16:51:28Z)
• Emergent Analogical Reasoning in Large Language Models [1.5469452301122177]
  GPT-3は、多くの設定において、抽象的なパターン誘導、マッチング、さらには人間の能力を超える、驚くほど強力な能力を持っていることを示す。 以上の結果から, GPT-3のような大規模言語モデルでは, 幅広い類似問題に対するゼロショット解を求める能力が得られている。
  論文  参考訳（メタデータ） (2022-12-19T00:04:56Z)
• JECC: Commonsense Reasoning Tasks Derived from Interactive Fictions [75.42526766746515]
  本稿では,人間のインタラクティブ・フィクション(IF)ゲームプレイ・ウォークスルーに基づく新しいコモンセンス推論データセットを提案する。 本データセットは,事実知識ではなく,機能的コモンセンス知識ルールの評価に重点を置いている。 実験の結果、導入したデータセットは、以前の機械読影モデルと新しい大規模言語モデルに難題であることが示されている。
  論文  参考訳（メタデータ） (2022-10-18T19:20:53Z)
• Machine Common Sense [77.34726150561087]
  機械の常識は、人工知能(AI)において広範で潜在的に無拘束な問題のままである 本稿では、対人インタラクションのようなドメインに焦点を当てたコモンセンス推論のモデル化の側面について論じる。
  論文  参考訳（メタデータ） (2020-06-15T13:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。