論文の概要: A Systematic Assessment of OpenAI o1-Preview for Higher Order Thinking in Education
- arxiv url: http://arxiv.org/abs/2410.21287v1
- Date: Fri, 11 Oct 2024 20:30:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-03 08:20:12.222234
- Title: A Systematic Assessment of OpenAI o1-Preview for Higher Order Thinking in Education
- Title（参考訳）: OpenAI o1のシステム評価-教育における高次思考の概観
- Authors: Ehsan Latif, Yifan Zhou, Shuchen Guo, Yizhu Gao, Lehong Shi, Matthew Nayaaba, Gyeonggeon Lee, Liang Zhang, Arne Bewersdorff, Luyang Fang, Xiantong Yang, Huaqin Zhao, Hanqi Jiang, Haoran Lu, Jiaxi Li, Jichao Yu, Weihang You, Zhengliang Liu, Vincent Shung Liu, Hui Wang, Zihao Wu, Jin Lu, Fei Dou, Ping Ma, Ninghao Liu, Tianming Liu, Xiaoming Zhai,
- Abstract要約: 本研究は,14次元にわたる高次認知タスクを行うOpenAI o1-previewの能力を評価する。
我々は,エニス=ヴァイア臨界思考評価テストや生物システム思考テストのような検証済みの機器を用いて,o1-previewのパフォーマンスと人的パフォーマンスを比較した。
- 参考スコア（独自算出の注目度）: 34.66303311392822
- License:
- Abstract: As artificial intelligence (AI) continues to advance, it demonstrates capabilities comparable to human intelligence, with significant potential to transform education and workforce development. This study evaluates OpenAI o1-preview's ability to perform higher-order cognitive tasks across 14 dimensions, including critical thinking, systems thinking, computational thinking, design thinking, metacognition, data literacy, creative thinking, abstract reasoning, quantitative reasoning, logical reasoning, analogical reasoning, and scientific reasoning. We used validated instruments like the Ennis-Weir Critical Thinking Essay Test and the Biological Systems Thinking Test to compare the o1-preview's performance with human performance systematically. Our findings reveal that o1-preview outperforms humans in most categories, achieving 150% better results in systems thinking, computational thinking, data literacy, creative thinking, scientific reasoning, and abstract reasoning. However, compared to humans, it underperforms by around 25% in logical reasoning, critical thinking, and quantitative reasoning. In analogical reasoning, both o1-preview and humans achieved perfect scores. Despite these strengths, the o1-preview shows limitations in abstract reasoning, where human psychology students outperform it, highlighting the continued importance of human oversight in tasks requiring high-level abstraction. These results have significant educational implications, suggesting a shift toward developing human skills that complement AI, such as creativity, abstract reasoning, and critical thinking. This study emphasizes the transformative potential of AI in education and calls for a recalibration of educational goals, teaching methods, and curricula to align with an AI-driven world.
- Abstract（参考訳）: 人工知能(AI)は進歩を続けており、人間の知能に匹敵する能力を示しており、教育と労働開発を変革する大きな可能性を秘めている。
本研究は,批判的思考,システム思考,計算思考,デザイン思考,メタ認知,データリテラシー,創造的思考,抽象的推論,量的推論,論理的推論,類推的推論,科学的推論を含む,14次元にわたる高次認知タスクを行うOpenAI o1-previewの能力を評価する。
我々は,エニス=ヴァイア臨界思考評価テストや生物システム思考テストのような検証済みの機器を用いて,o1プレビューのパフォーマンスと人間のパフォーマンスを体系的に比較した。
その結果, システム思考, 計算思考, データリテラシー, 創造的思考, 科学的推論, 抽象的推論において, システム思考, 計算思考, データリテラシー, 抽象推論において, 150%向上した結果が得られた。
しかし、人間に比べれば、論理的推論、批判的思考、量的推論では25%ほど性能が劣っている。
類似の推論では、o1-previewとヒトの両方が完璧なスコアを得た。
これらの強みにもかかわらず、o1-previewは抽象的推論の限界を示し、人間の心理学の学生はそれを上回り、ハイレベルな抽象を必要とするタスクにおいて人間の監督が継続的に重要であることを強調している。
これらの結果は、創造性、抽象的推論、批判的思考など、AIを補完する人間のスキル開発へのシフトを示唆している。
この研究は、教育におけるAIの変革の可能性を強調し、AI駆動の世界に合わせるために、教育目標、教育方法、カリキュラムの再検討を求める。
関連論文リスト
- Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
AIシステムは知恵を欠いている。
AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。
メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
論文 参考訳（メタデータ） (2024-11-04T18:10:10Z) - Untangling Critical Interaction with AI in Students Written Assessment [2.8078480738404]
重要な課題は、人間が必須の批判的思考とAIリテラシースキルを備えていることを保証することである。
本稿では,AIと批判的学習者インタラクションの概念を概念化するための第一歩を提供する。
理論的モデルと経験的データの両方を用いて、予備的な発見は、書き込みプロセス中にAIとのディープインタラクションが全般的に欠如していることを示唆している。
論文 参考訳（メタデータ） (2024-04-10T12:12:50Z) - Advancing Perception in Artificial Intelligence through Principles of
Cognitive Science [6.637438611344584]
我々は、周囲の信号を入力として取り、それを処理して環境を理解する、知覚の認知機能に焦点を当てる。
我々は、認知科学にインスパイアされたAIシステムを構築するために、AIに一連の方法を提案する。
論文 参考訳（メタデータ） (2023-10-13T01:21:55Z) - Machine Psychology [54.287802134327485]
我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。
本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。
これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
論文 参考訳（メタデータ） (2023-03-24T13:24:41Z) - Building Human-like Communicative Intelligence: A Grounded Perspective [1.0152838128195465]
言語学習における驚くべき進歩の後、AIシステムは人間のコミュニケーション能力の重要な側面を反映しない天井に近づいたようだ。
本稿は、ナチビストと象徴的パラダイムに基づく認知にインスパイアされたAIの方向性には、現代AIの進歩を導くために必要なサブストラテジと具体性がないことを示唆する。
本稿では,「地下」言語知能構築のための具体的かつ実装可能なコンポーネントのリストを提案する。
論文 参考訳（メタデータ） (2022-01-02T01:43:24Z) - AGENT: A Benchmark for Core Psychological Reasoning [60.35621718321559]
直観心理学は、観察可能な行動を駆動する隠された精神変数を推論する能力です。
他のエージェントを推論する機械エージェントに対する近年の関心にもかかわらず、そのようなエージェントが人間の推論を駆動するコア心理学の原則を学ぶか保持するかは明らかではない。
本稿では,プロシージャが生成する3dアニメーション,エージェントを4つのシナリオで構成したベンチマークを提案する。
論文 参考訳（メタデータ） (2021-02-24T14:58:23Z) - Inductive Biases for Deep Learning of Higher-Level Cognition [108.89281493851358]
興味深い仮説は、人間と動物の知性はいくつかの原則によって説明できるということである。
この研究は、主に高いレベルとシーケンシャルな意識的処理に関心のある人を中心に、より大きなリストを考察する。
これらの特定の原則を明確にする目的は、人間の能力から恩恵を受けるAIシステムを構築するのに役立つ可能性があることである。
論文 参考訳（メタデータ） (2020-11-30T18:29:25Z) - Thinking Fast and Slow in AI [38.8581204791644]
本稿では,人間の意思決定の認知理論からインスピレーションを得たAI研究の方向性を提案する。
前提は、AIでまだ不足しているいくつかの人間の能力の原因について洞察を得ることができれば、AIシステムで同様の能力を得ることができるということです。
論文 参考訳（メタデータ） (2020-10-12T20:10:05Z) - Machine Common Sense [77.34726150561087]
機械の常識は、人工知能(AI)において広範で潜在的に無拘束な問題のままである
本稿では、対人インタラクションのようなドメインに焦点を当てたコモンセンス推論のモデル化の側面について論じる。
論文 参考訳（メタデータ） (2020-06-15T13:59:47Z) - Human Evaluation of Interpretability: The Case of AI-Generated Music
Knowledge [19.508678969335882]
我々は、芸術と人文科学におけるAIが発見する知識/ルールを評価することに注力する。
本稿では,洗練された記号的/数値的対象として表現されたAI生成音楽理論/ルールの人間生成言語解釈を収集し,評価する実験手法を提案する。
論文 参考訳（メタデータ） (2020-04-15T06:03:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。