論文の概要: Does GPT Really Get It? A Hierarchical Scale to Quantify Human vs AI's Understanding of Algorithms

• arxiv url: http://arxiv.org/abs/2406.14722v1
• Date: Thu, 20 Jun 2024 20:37:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 17:49:36.151445
• Title: Does GPT Really Get It? A Hierarchical Scale to Quantify Human vs AI's Understanding of Algorithms
• Title（参考訳）: GPTは本当にそれを得るのか?人間とAIのアルゴリズム理解を定量化する階層的尺度
• Authors: Mirabel Reid, Santosh S. Vempala,
• Abstract要約: 我々は,アルゴリズムの理解に焦点をあて,理解の階層化を提案する。 階層構造を用いて、人間の対象だけでなく、大きな言語モデルを用いた研究を設計し、実施する。 我々の厳格な基準は、そのような認知領域におけるAIの進歩を追跡するのに役立つと期待しています。
• 参考スコア（独自算出の注目度）: 6.445605125467573
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) perform (and sometimes excel at) more and more complex cognitive tasks, a natural question is whether AI really understands. The study of understanding in LLMs is in its infancy, and the community has yet to incorporate well-trodden research in philosophy, psychology, and education. We initiate this, specifically focusing on understanding algorithms, and propose a hierarchy of levels of understanding. We use the hierarchy to design and conduct a study with human subjects (undergraduate and graduate students) as well as large language models (generations of GPT), revealing interesting similarities and differences. We expect that our rigorous criteria will be useful to keep track of AI's progress in such cognitive domains.
• Abstract（参考訳）: 大規模言語モデル(LLM)がより複雑な認知タスクを遂行する(そして時には卓越する)につれて、自然な疑問はAIが本当に理解しているかどうかである。 LLMにおける理解の研究は、その初期段階にあり、まだ哲学、心理学、教育に精通した研究を組み込んでいない。 我々はこれを開始し、特にアルゴリズムの理解に焦点をあて、理解のレベル階層を提案する。 我々は、人的対象(学部・大学院生)と大きな言語モデル(GPTの世代)を設計・実行するために階層を用いており、興味深い類似点と相違点を明らかにしている。 我々の厳格な基準は、そのような認知領域におけるAIの進歩を追跡するのに役立つと期待しています。

関連論文リスト

• Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
  AIシステムは知恵を欠いている。 AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。 メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
  論文  参考訳（メタデータ） (2024-11-04T18:10:10Z)
• Cognition is All You Need -- The Next Layer of AI Above Large Language Models [0.0]
  我々は,大規模言語モデル以外のニューロシンボリック認知のためのフレームワークであるCognitive AIを紹介する。 我々は、認知AIがAGIのようなAI形態の進化に必須の先駆者であり、AGIは独自の確率論的アプローチでは達成できないと主張する。 我々は、大規模言語モデル、AIの採用サイクル、および商用の認知AI開発に関する議論で締めくくります。
  論文  参考訳（メタデータ） (2024-03-04T16:11:57Z)
• Can A Cognitive Architecture Fundamentally Enhance LLMs? Or Vice Versa? [0.32634122554913997]
  この論文は、人間の認知と心理学からの洞察を、コンピュータ認知アーキテクチャによって具現化されたように取り入れることで、より有能で、より信頼性があり、より人間に近いシステムを開発するのに役立つと論じている。
  論文  参考訳（メタデータ） (2024-01-19T01:14:45Z)
• AI for Mathematics: A Cognitive Science Perspective [86.02346372284292]
  数学は人間によって開発された最も強力な概念体系の1つである。 AIの急速な進歩、特に大規模言語モデル(LLM)の進歩による推進により、そのようなシステム構築に対する新たな、広範な関心が生まれている。
  論文  参考訳（メタデータ） (2023-10-19T02:00:31Z)
• A Review on Objective-Driven Artificial Intelligence [0.0]
  人間は、コミュニケーションにおける文脈、ニュアンス、微妙な手がかりを理解する能力を持っている。 人間は、世界に関する論理的推論と予測を行うのに役立つ、常識的な知識の広大なリポジトリを持っています。 機械はこの本質的な理解に欠けており、人間が自明に感じる状況を理解するのに苦労することが多い。
  論文  参考訳（メタデータ） (2023-08-20T02:07:42Z)
• Bootstrapping Developmental AIs: From Simple Competences to Intelligent Human-Compatible AIs [0.0]
  主流のAIアプローチは、大きな言語モデル(LLM)による生成的および深層学習アプローチと、手動で構築されたシンボリックアプローチである。 このポジションペーパーでは、開発AIの実践を拡張して、レジリエンスでインテリジェントで、人間と互換性のあるAIを作り出すための、展望、ギャップ、課題を概説する。
  論文  参考訳（メタデータ） (2023-08-08T21:14:21Z)
• Machine Psychology [54.287802134327485]
  我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。 本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。 これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
  論文  参考訳（メタデータ） (2023-03-24T13:24:41Z)
• Inductive Biases for Deep Learning of Higher-Level Cognition [108.89281493851358]
  興味深い仮説は、人間と動物の知性はいくつかの原則によって説明できるということである。 この研究は、主に高いレベルとシーケンシャルな意識的処理に関心のある人を中心に、より大きなリストを考察する。 これらの特定の原則を明確にする目的は、人間の能力から恩恵を受けるAIシステムを構築するのに役立つ可能性があることである。
  論文  参考訳（メタデータ） (2020-11-30T18:29:25Z)
• Thinking Fast and Slow in AI [38.8581204791644]
  本稿では,人間の意思決定の認知理論からインスピレーションを得たAI研究の方向性を提案する。 前提は、AIでまだ不足しているいくつかの人間の能力の原因について洞察を得ることができれば、AIシステムで同様の能力を得ることができるということです。
  論文  参考訳（メタデータ） (2020-10-12T20:10:05Z)
• Bongard-LOGO: A New Benchmark for Human-Level Concept Learning and Reasoning [78.13740873213223]
  ボナード問題(BP)は、インテリジェントシステムにおける視覚認知へのインスピレーションとして導入された。 我々は人間レベルの概念学習と推論のための新しいベンチマークBongard-LOGOを提案する。
  論文  参考訳（メタデータ） (2020-10-02T03:19:46Z)
• Dark, Beyond Deep: A Paradigm Shift to Cognitive AI with Humanlike Common Sense [142.53911271465344]
  我々は、次世代のAIは、新しいタスクを解決するために、人間のような「暗黒」の常識を取り入れなければならないと論じている。 我々は、人間のような常識を持つ認知AIの5つの中核領域として、機能、物理学、意図、因果性、実用性(FPICU)を識別する。
  論文  参考訳（メタデータ） (2020-04-20T04:07:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。