論文の概要: Benchmarks for Physical Reasoning AI

• arxiv url: http://arxiv.org/abs/2312.10728v1
• Date: Sun, 17 Dec 2023 14:24:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 14:44:06.990984
• Title: Benchmarks for Physical Reasoning AI
• Title（参考訳）: 物理推論AIのベンチマーク
• Authors: Andrew Melnik, Robin Schiewer, Moritz Lange, Andrei Muresanu, Mozhgan Saeidi, Animesh Garg, Helge Ritter
• Abstract要約: 既存のベンチマークの概要と、AIシステムの物理的推論能力を測定するためのソリューションアプローチについて説明する。 物理推論タスクにおけるアルゴリズム性能をテストするためのベンチマークを選択する。 提示された物理推論ベンチマークをサブカテゴリにグループ化し、より狭い一般AIエージェントをこれらのグループで最初にテストできるようにします。
• 参考スコア（独自算出の注目度）: 28.02418565463541
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Physical reasoning is a crucial aspect in the development of general AI systems, given that human learning starts with interacting with the physical world before progressing to more complex concepts. Although researchers have studied and assessed the physical reasoning of AI approaches through various specific benchmarks, there is no comprehensive approach to evaluating and measuring progress. Therefore, we aim to offer an overview of existing benchmarks and their solution approaches and propose a unified perspective for measuring the physical reasoning capacity of AI systems. We select benchmarks that are designed to test algorithmic performance in physical reasoning tasks. While each of the selected benchmarks poses a unique challenge, their ensemble provides a comprehensive proving ground for an AI generalist agent with a measurable skill level for various physical reasoning concepts. This gives an advantage to such an ensemble of benchmarks over other holistic benchmarks that aim to simulate the real world by intertwining its complexity and many concepts. We group the presented set of physical reasoning benchmarks into subcategories so that more narrow generalist AI agents can be tested first on these groups.
• Abstract（参考訳）: 人間の学習は、より複雑な概念に進む前に物理世界と対話することから始まるため、理性的な推論は一般的なaiシステムの発展において重要な側面である。 研究者は、さまざまなベンチマークを通じてaiアプローチの物理的推論を研究し、評価してきたが、進捗を評価し測定するための包括的なアプローチはない。 そこで我々は,既存のベンチマークとその解法の概要を提供し,aiシステムの物理的推論能力を測定するための統一的な視点を提案する。 物理推論タスクにおけるアルゴリズム性能をテストするためのベンチマークを選択する。 それぞれのベンチマークがユニークな課題を呈する一方で、それらのアンサンブルは、さまざまな物理的推論概念の計測可能なスキルレベルを持つAIジェネリストエージェントに対して、包括的な証明基盤を提供する。 これは、複雑さと多くの概念を絡めて現実世界をシミュレートすることを目的とした、他の総合ベンチマークよりも、このようなベンチマークのアンサンブルの利点を与える。 提示された物理推論ベンチマークをサブカテゴリにグループ化し、より狭い一般AIエージェントをこれらのグループでテストできるようにします。

関連論文リスト

• Evaluating Generative AI Systems is a Social Science Measurement Challenge [78.35388859345056]
  我々は,GenAIシステムの能力,影響,機会,リスクに関連する概念を測定するための枠組みを提案する。 このフレームワークは、背景概念、体系化された概念、測定器、インスタンスレベルの測定そのものの4つのレベルを区別する。
  論文  参考訳（メタデータ） (2024-11-17T02:35:30Z)
• OlympicArena: Benchmarking Multi-discipline Cognitive Reasoning for Superintelligent AI [73.75520820608232]
  我々は,11,163のバイリンガル問題を含む,テキストのみとインターリーブされたテキストイメージのモダリティを紹介する。 これらの課題には、7つのフィールドと62の国際オリンピック大会にわたる幅広い規律が含まれており、データ漏洩について厳格に調査されている。 我々の評価によると、GPT-4oのような先進モデルでさえ、複雑な推論とマルチモーダル統合における現在のAI制限を反映して、全体的な精度は39.97%しか達成していない。
  論文  参考訳（メタデータ） (2024-06-18T16:20:53Z)
• Levels of AGI for Operationalizing Progress on the Path to AGI [64.59151650272477]
  本稿では,人工知能(AGI)モデルとその前駆体の性能と動作を分類する枠組みを提案する。 このフレームワークは、AGIのパフォーマンス、一般性、自律性のレベルを導入し、モデルを比較し、リスクを評価し、AGIへの道筋に沿って進捗を測定する共通の言語を提供する。
  論文  参考訳（メタデータ） (2023-11-04T17:44:58Z)
• Evaluating General-Purpose AI with Psychometrics [43.85432514910491]
  本稿では,大規模言語モデルなどの汎用AIシステムの包括的かつ正確な評価の必要性について論じる。 現在の評価手法は、主に特定のタスクのベンチマークに基づいており、これらの汎用AIシステムを適切に評価するには不十分である。 これらの課題に対処するため,タスク指向評価から構成指向評価への移行を提案する。
  論文  参考訳（メタデータ） (2023-10-25T05:38:38Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• A System's Approach Taxonomy for User-Centred XAI: A Survey [0.6882042556551609]
  本稿では,一般システム理論の原理に基づく総合的,包括的でユーザ中心のXAI分類法を提案する。 これは、開発者とエンドユーザの両方を含むすべてのユーザタイプに対するXAIアプローチの適切性を評価する基盤を提供する。
  論文  参考訳（メタデータ） (2023-03-06T00:50:23Z)
• Mapping global dynamics of benchmark creation and saturation in artificial intelligence [5.233652342195164]
  ベンチマークの作成と飽和のグローバルなダイナミクスのマップを作成します。 コンピュータビジョンと自然言語処理の全領域をカバーする1688ベンチマークのデータをキュレートした。
  論文  参考訳（メタデータ） (2022-03-09T09:16:49Z)
• Phy-Q: A Benchmark for Physical Reasoning [5.45672244836119]
  エージェントが物理的シナリオを推論し、それに応じてアクションを取る必要がある新しいベンチマークを提案する。 幼児期に獲得した身体的知識と、ロボットが現実世界で操作するために必要な能力に触発されて、我々は15の不可欠な物理的シナリオを特定した。 各シナリオに対して、さまざまな異なるタスクテンプレートを作成し、同じシナリオ内のすべてのタスクテンプレートを、1つの特定の物理ルールを使用することで解決できるようにします。
  論文  参考訳（メタデータ） (2021-08-31T09:11:27Z)
• An Extensible Benchmark Suite for Learning to Simulate Physical Systems [60.249111272844374]
  我々は、統一されたベンチマークと評価プロトコルへの一歩を踏み出すために、一連のベンチマーク問題を導入する。 本稿では,4つの物理系と,広く使用されている古典的時間ベースおよび代表的なデータ駆動手法のコレクションを提案する。
  論文  参考訳（メタデータ） (2021-08-09T17:39:09Z)
• An interdisciplinary conceptual study of Artificial Intelligence (AI) for helping benefit-risk assessment practices: Towards a comprehensive qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
  本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。 目的は、AIシステムを評価するための共有概念や相違点を特定することである。
  論文  参考訳（メタデータ） (2021-05-07T12:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。