論文の概要: GPT-4 Can't Reason

• arxiv url: http://arxiv.org/abs/2308.03762v2
• Date: Thu, 10 Aug 2023 14:24:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-11 15:07:05.012343
• Title: GPT-4 Can't Reason
• Title（参考訳）: GPT-4は推論できない
• Authors: Konstantine Arkoudas
• Abstract要約: GPT-4は2023年3月に公開され、広く称賛された。 時折解析的輝きが増すが、現在のGPT-4は推論が全くできない。
• 参考スコア（独自算出の注目度）: 6.040938686276303
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: GPT-4 was released in March 2023 to wide acclaim, marking a very substantial improvement across the board over GPT-3.5 (OpenAI's previously best model, which had powered the initial release of ChatGPT). However, despite the genuinely impressive improvement, there are good reasons to be highly skeptical of GPT-4's ability to reason. This position paper discusses the nature of reasoning; criticizes the current formulation of reasoning problems in the NLP community, as well as the way in which LLM reasoning performance is currently evaluated; introduces a small collection of 21 diverse reasoning problems; and performs a detailed qualitative evaluation of GPT-4's performance on those problems. Based on this analysis, the paper concludes that, despite its occasional flashes of analytical brilliance, GPT-4 at present is utterly incapable of reasoning.
• Abstract（参考訳）: GPT-4は2023年3月に広く評価され、GPT-3.5(ChatGPTの初期リリースに使用されたOpenAIのベストモデル)よりも大幅に改良された。 しかし、本当に印象的な改善にもかかわらず、GPT-4の推論能力に非常に懐疑的な理由がある。 本稿では, 推論の性質について論じ, 現在のnlpコミュニティにおける推論問題の定式化や現在llm推論性能の評価方法を批判し, 21の多様な推論問題の少なさを紹介するとともに, それらの問題に対するgpt-4のパフォーマンスの詳細な質的評価を行う。 この分析に基づいて、解析的輝きの時折あるにもかかわらず、現在のGPT-4は推論が全くできないと結論付けている。

関連論文リスト

• Are Large Language Models Strategic Decision Makers? A Study of Performance and Bias in Two-Player Non-Zero-Sum Games [56.70628673595041]
  大規模言語モデル (LLM) は現実世界での利用が増えているが、その戦略的意思決定能力はほとんど探索されていない。 本研究は,Stag Hunt と Prisoner Dilemma のカノニカルゲーム理論2人プレイヤ非ゼロサムゲームにおける LLM の性能とメリットについて検討する。 GPT-3.5, GPT-4-Turbo, GPT-4o, Llama-3-8Bの構造化評価は, これらのゲームにおいて決定を行う場合, 以下の系統的バイアスの少なくとも1つの影響を受けていることを示す。
  論文  参考訳（メタデータ） (2024-07-05T12:30:02Z)
• Large Language Models on Wikipedia-Style Survey Generation: an Evaluation in NLP Concepts [21.150221839202878]
  大規模言語モデル(LLM)は、様々な一般的なタスクで大きな成功を収めた。 本研究では,コンピュータ科学におけるNLPのニッチ分野に特有な簡潔な調査項目を生成する上で,LCMsの有効性について検討する。 人間の評価スコアとGPTによる評価スコアを比較し,詳細な分析を行った。
  論文  参考訳（メタデータ） (2023-08-21T01:32:45Z)
• How is ChatGPT's behavior changing over time? [72.79311931941876]
  2023年3月から6月にかけてのGPT-3.5およびGPT-4の評価を行った。 GPT-3.5とGPT-4の両方の性能と挙動は時間とともに大きく変化することがわかった。
  論文  参考訳（メタデータ） (2023-07-18T06:56:08Z)
• DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models [92.6951708781736]
  本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。 GPTモデルは、有害で偏りのある出力を生成し、個人情報を漏らすために、容易に誤解され得る。 我々の研究は、GPTモデルの総合的な信頼性評価を示し、信頼性のギャップに光を当てている。
  論文  参考訳（メタデータ） (2023-06-20T17:24:23Z)
• Is GPT-4 a Good Data Analyst? [67.35956981748699]
  我々は、GPT-4を、広範囲のドメインのデータベースでエンドツーエンドのデータ分析を行うためのデータ分析であると考えている。 我々は,複数の専門家データアナリストとGPT-4のパフォーマンスを体系的に比較するために,タスク固有の評価指標を設計する。 実験の結果, GPT-4はヒトに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-05-24T11:26:59Z)
• GPT-3.5, GPT-4, or BARD? Evaluating LLMs Reasoning Ability in Zero-Shot Setting and Performance Boosting Through Prompts [0.0]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて顕著な性能を示した。 本稿では, GPT-3.5, GPT-4, BARDモデルの性能について, 様々な推論タスクについて, 徹底的な技術的評価を行うことにより検討する。
  論文  参考訳（メタデータ） (2023-05-21T14:45:17Z)
• Gpt-4: A Review on Advancements and Opportunities in Natural Language Processing [0.0]
  Generative Pre-trained Transformer 4 (GPT-4) は、OpenAIが開発したGPTシリーズの第4世代言語モデルである。 GPT-4は、GPT-3よりもモデルサイズが大きく(1兆ドル以上)、多言語能力、文脈理解の改善、推論能力が優れている。 GPT-4の潜在的な応用には、チャットボット、パーソナルアシスタント、言語翻訳、テキスト要約、質問応答などがある。
  論文  参考訳（メタデータ） (2023-05-04T22:46:43Z)
• Humans in Humans Out: On GPT Converging Toward Common Sense in both Success and Failure [0.0]
  GPT-3, GPT-3.5, GPT-4は多量の人為的テキストで訓練された。 これらの例の59%に対して, GPT-3 は ETR 予測出力の証拠を示した。 GPT-3では18%, GPT-3.5では33%, GPT-4では34%であった。
  論文  参考訳（メタデータ） (2023-03-30T10:32:18Z)
• Sparks of Artificial General Intelligence: Early experiments with GPT-4 [66.1188263570629]
  OpenAIが開発したGPT-4は、前例のない規模の計算とデータを使って訓練された。 我々は, GPT-4が数学, コーディング, ビジョン, 医学, 法学, 心理学などにまたがる, 新規で困難な課題を解くことを実証した。 我々は、GPT-4を人工知能(AGI)システムの早期(まだ未完成)版と見なすことができると信じている。
  論文  参考訳（メタデータ） (2023-03-22T16:51:28Z)
• Consistency Analysis of ChatGPT [65.268245109828]
  本稿では,ChatGPTとGPT-4の論理的一貫した行動に対する信頼性について検討する。 その結果,両モデルとも言語理解能力と推論能力が向上しているように見えるが,論理的に一貫した予測が得られないことが示唆された。
  論文  参考訳（メタデータ） (2023-03-11T01:19:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。