論文の概要: Evaluation of OpenAI o1: Opportunities and Challenges of AGI

• arxiv url: http://arxiv.org/abs/2409.18486v1
• Date: Fri, 27 Sep 2024 06:57:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 05:52:22.758454
• Title: Evaluation of OpenAI o1: Opportunities and Challenges of AGI
• Title（参考訳）: OpenAI o1の評価:AGIの可能性と課題
• Authors: Tianyang Zhong, Zhengliang Liu, Yi Pan, Yutong Zhang, Yifan Zhou, Shizhe Liang, Zihao Wu, Yanjun Lyu, Peng Shu, Xiaowei Yu, Chao Cao, Hanqi Jiang, Hanxu Chen, Yiwei Li, Junhao Chen, Huawen Hu, Yihen Liu, Huaqin Zhao, Shaochen Xu, Haixing Dai, Lin Zhao, Ruidong Zhang, Wei Zhao, Zhenyuan Yang, Jingyuan Chen, Peilong Wang, Wei Ruan, Hui Wang, Huan Zhao, Jing Zhang, Yiming Ren, Shihuan Qin, Tong Chen, Jiaxi Li, Arif Hassan Zidan, Afrar Jahin, Minheng Chen, Sichen Xia, Jason Holmes, Yan Zhuang, Jiaqi Wang, Bochen Xu, Weiran Xia, Jichao Yu, Kaibo Tang, Yaxuan Yang, Bolun Sun, Tao Yang, Guoyu Lu, Xianqiao Wang, Lilong Chai, He Li, Jin Lu, Lichao Sun, Xin Zhang, Bao Ge, Xintao Hu, Lian Zhang, Hua Zhou, Lu Zhang, Shu Zhang, Ninghao Liu, Bei Jiang, Linglong Kong, Zhen Xiang, Yudan Ren, Jun Liu, Xi Jiang, Yu Bao, Wei Zhang, Xiang Li, Gang Li, Wei Liu, Dinggang Shen, Andrea Sikora, Xiaoming Zhai, Dajiang Zhu, Tianming Liu,
• Abstract要約: o1-previewは目覚ましい能力を示し、しばしば人間レベルまたは優れたパフォーマンスを実現した。 このモデルは、様々な分野にわたる複雑な推論と知識の統合を必要とするタスクに優れていた。 総合的な結果は、人工知能への大きな進歩を示している。
• 参考スコア（独自算出の注目度）: 112.0812059747033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This comprehensive study evaluates the performance of OpenAI's o1-preview large language model across a diverse array of complex reasoning tasks, spanning multiple domains, including computer science, mathematics, natural sciences, medicine, linguistics, and social sciences. Through rigorous testing, o1-preview demonstrated remarkable capabilities, often achieving human-level or superior performance in areas ranging from coding challenges to scientific reasoning and from language processing to creative problem-solving. Key findings include: -83.3% success rate in solving complex competitive programming problems, surpassing many human experts. -Superior ability in generating coherent and accurate radiology reports, outperforming other evaluated models. -100% accuracy in high school-level mathematical reasoning tasks, providing detailed step-by-step solutions. -Advanced natural language inference capabilities across general and specialized domains like medicine. -Impressive performance in chip design tasks, outperforming specialized models in areas such as EDA script generation and bug analysis. -Remarkable proficiency in anthropology and geology, demonstrating deep understanding and reasoning in these specialized fields. -Strong capabilities in quantitative investing. O1 has comprehensive financial knowledge and statistical modeling skills. -Effective performance in social media analysis, including sentiment analysis and emotion recognition. The model excelled particularly in tasks requiring intricate reasoning and knowledge integration across various fields. While some limitations were observed, including occasional errors on simpler problems and challenges with certain highly specialized concepts, the overall results indicate significant progress towards artificial general intelligence.
• Abstract（参考訳）: この総合的な研究は、コンピュータ科学、数学、自然科学、医学、言語学、社会科学など、様々な複雑な推論タスクにわたるOpenAIのo1-preview大言語モデルの性能を評価する。 厳格なテストを通じて、o1-previewは、コーディングの課題から科学的推論、言語処理から創造的な問題解決に至るまでの領域において、人間のレベルや優れたパフォーマンスを達成する、素晴らしい能力を示しました。 83.3%が複雑な競合プログラミング問題の解決に成功し、多くの専門家を追い越している。 -コヒーレントで正確な放射線学レポートを作成でき、他の評価モデルよりも優れている。 -高校レベルの数学的推論タスクにおける100%の精度で、ステップバイステップの詳細な解を提供する。 -医学などの一般分野や専門分野にまたがる高度な自然言語推論能力。 -チップ設計タスクにおける印象的なパフォーマンス、EDAスクリプト生成やバグ解析などの分野での特殊モデルよりも優れています。 -これらの専門分野における深い理解と推論を示す人類学・地質学の卓越した習熟度。 -量的投資におけるストロング能力。 O1には包括的な金融知識と統計モデリングスキルがある。 -感情分析や感情認識を含むソーシャルメディア分析における効果 このモデルは、様々な分野にわたる複雑な推論と知識の統合を必要とするタスクにおいて特に優れていた。 単純な問題や特定の高度に専門的な概念による課題の誤りなど、いくつかの制限が観測されたが、全体的な結果は人工知能への大きな進歩を示している。

関連論文リスト

• Do great minds think alike? Investigating Human-AI Complementarity in Question Answering with CAIMIRA [43.116608441891096]
  人間は知識に基づく帰納的、概念的推論においてAIシステムより優れています。 GPT-4やLLaMAのような最先端のLLMは、ターゲット情報検索において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-09T03:53:26Z)
• ErrorRadar: Benchmarking Complex Mathematical Reasoning of Multimodal Large Language Models Via Error Detection [60.297079601066784]
  エラー検出におけるMLLMの能力を評価するために設計された最初のベンチマークであるErrorRadarを紹介する。 ErrorRadarはエラーステップ識別とエラー分類という2つのサブタスクを評価している。 2500の高品質なマルチモーダルK-12数学問題で構成され、実世界の学生相互作用から収集される。 GPT-4oの優れた性能は、まだ人間の評価に約10%遅れているため、大きな課題が残っている。
  論文  参考訳（メタデータ） (2024-10-06T14:59:09Z)
• OlympicArena: Benchmarking Multi-discipline Cognitive Reasoning for Superintelligent AI [73.75520820608232]
  我々は,11,163のバイリンガル問題を含む,テキストのみとインターリーブされたテキストイメージのモダリティを紹介する。 これらの課題には、7つのフィールドと62の国際オリンピック大会にわたる幅広い規律が含まれており、データ漏洩について厳格に調査されている。 我々の評価によると、GPT-4oのような先進モデルでさえ、複雑な推論とマルチモーダル統合における現在のAI制限を反映して、全体的な精度は39.97%しか達成していない。
  論文  参考訳（メタデータ） (2024-06-18T16:20:53Z)
• Machine-assisted quantitizing designs: augmenting humanities and social sciences with artificial intelligence [0.0]
  大規模言語モデル(LLM)は、人文科学や社会科学におけるデータ分析をスケールアップする前例のない機会であることが示された。 設計原則を定量化し、変換し、言語学から特徴分析し、人間の専門知識と機械のスケーラビリティを透過的に統合する混合手法を構築します。 このアプローチは、1ダース以上のLDM支援ケーススタディで議論され、9つの多様な言語、複数の規律、タスクをカバーしている。
  論文  参考訳（メタデータ） (2023-09-24T14:21:50Z)
• Explainable, Domain-Adaptive, and Federated Artificial Intelligence in Medicine [5.126042819606137]
  我々は、AIによる医療意思決定における特定の課題に対処する3つの主要な方法論的アプローチに焦点を当てる。 ドメイン適応と転送学習により、AIモデルをトレーニングし、複数のドメインにわたって適用することができる。 フェデレーテッド・ラーニングは、機密性の高い個人情報を漏らさずに大規模なモデルを学習することを可能にする。
  論文  参考訳（メタデータ） (2022-11-17T03:32:00Z)
• Solving Quantitative Reasoning Problems with Language Models [53.53969870599973]
  我々は、一般的な自然言語データに基づいて事前訓練された大規模言語モデルであるMinervaを紹介し、さらに技術的な内容について訓練する。 このモデルは、外部ツールを使わずに、技術的ベンチマークで最先端のパフォーマンスを達成する。 我々はまた、物理学、生物学、化学、経済学、その他の科学における200以上の学部レベルの問題に対して、我々のモデルを評価した。
  論文  参考訳（メタデータ） (2022-06-29T18:54:49Z)
• NumGLUE: A Suite of Fundamental yet Challenging Mathematical Reasoning Tasks [37.730939229638224]
  8つのタスクでAIシステムの性能を評価するベンチマークであるNumGLUEを提案する。 このベンチマークは、最先端の大規模言語モデルを含むニューラルモデルで解決されるには程遠い。 我々はNumGLUEが言語内で堅牢で一般的な算術推論を行うシステムを促進することを願っている。
  論文  参考訳（メタデータ） (2022-04-12T09:36:10Z)
• Affect Analysis in-the-wild: Valence-Arousal, Expressions, Action Units and a Unified Framework [83.21732533130846]
  Aff-Wild と Aff-Wild2 の2つである。 これは、これらのデータベースで訓練された深層ニューラルネットワークの2つのクラスの設計を示す。 インパクト認識を共同で学び、効果的に一般化し、実行することができる新しいマルチタスクおよび全体主義のフレームワークが提示されます。
  論文  参考訳（メタデータ） (2021-03-29T17:36:20Z)
• Knowledge as Invariance -- History and Perspectives of Knowledge-augmented Machine Learning [69.99522650448213]
  機械学習の研究は転換点にある。 研究の関心は、高度にパラメータ化されたモデルのパフォーマンス向上から、非常に具体的なタスクへとシフトしている。 このホワイトペーパーは、機械学習研究におけるこの新興分野の紹介と議論を提供する。
  論文  参考訳（メタデータ） (2020-12-21T15:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。