論文の概要: Evaluating Understanding on Conceptual Abstraction Benchmarks

• arxiv url: http://arxiv.org/abs/2206.14187v1
• Date: Tue, 28 Jun 2022 17:52:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-29 12:31:38.882701
• Title: Evaluating Understanding on Conceptual Abstraction Benchmarks
• Title（参考訳）: 概念抽象ベンチマークの理解の評価
• Authors: Victor Vikram Odouard and Melanie Mitchell
• Abstract要約: AIの長期的な目標は、人間のような方法で概念を理解するシステムを構築することである。 概念を理解するには、さまざまなコンテキストでそれを使う能力が必要である、と私たちは主張する。 我々の概念に基づく評価アプローチは、従来のテストセットが隠したはずのAIシステムに関する情報を明らかにする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A long-held objective in AI is to build systems that understand concepts in a humanlike way. Setting aside the difficulty of building such a system, even trying to evaluate one is a challenge, due to present-day AI's relative opacity and its proclivity for finding shortcut solutions. This is exacerbated by humans' tendency to anthropomorphize, assuming that a system that can recognize one instance of a concept must also understand other instances, as a human would. In this paper, we argue that understanding a concept requires the ability to use it in varied contexts. Accordingly, we propose systematic evaluations centered around concepts, by probing a system's ability to use a given concept in many different instantiations. We present case studies of such an evaluations on two domains -- RAVEN (inspired by Raven's Progressive Matrices) and the Abstraction and Reasoning Corpus (ARC) -- that have been used to develop and assess abstraction abilities in AI systems. Our concept-based approach to evaluation reveals information about AI systems that conventional test sets would have left hidden.
• Abstract（参考訳）: AIの長期的な目標は、人間のような方法で概念を理解するシステムを構築することである。 このようなシステムを構築することの難しさはさておき、現在のaiの相対的不透明性と近道ソリューションを見つけるための可能性から、それを評価することさえ困難である。 これは、ある概念の例を認識できるシステムは、人間のように他の例も理解しなければならないと仮定して、人類の擬人化傾向によって悪化する。 本稿では,概念の理解には様々な文脈でそれを利用する能力が必要であると論じる。 そこで本研究では,ある概念を多くの異なるインスタンス化で活用するシステムの能力を探索することにより,概念を中心にした体系的評価を提案する。 本稿では,AIシステムにおける抽象化能力の開発と評価に使用されてきた,RAVEN (Raven's Progressive Matrices) と Abstraction and Reasoning Corpus (ARC) の2つの領域に対する評価事例について述べる。 我々の概念に基づく評価アプローチは、従来のテストセットが隠したはずのAIシステムに関する情報を明らかにする。

関連論文リスト

• Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
  AIシステムは知恵を欠いている。 AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。 メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
  論文  参考訳（メタデータ） (2024-11-04T18:10:10Z)
• Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
  我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。 学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。 トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:38:57Z)
• Concept Induction using LLMs: a user experiment for assessment [1.1982127665424676]
  本研究では,人間に対する説明として意味のある高レベルな概念を生成するために,LLM(Large Language Model)の可能性を探る。 我々は、LLMによって生成された概念を、人間によって生成された概念とECII概念誘導システムという、他の2つの方法と比較する。 人為的な説明は依然として優れているが, GPT-4 から派生した概念は, ECII が生成した概念よりも人間にとって理解しやすいことが示唆された。
  論文  参考訳（メタデータ） (2024-04-18T03:22:02Z)
• The ConceptARC Benchmark: Evaluating Understanding and Generalization in the ARC Domain [0.0]
  ARC(Abstraction and Reasoning Corpus)の詳細な評価ベンチマークについて述べる。 特に、ARCドメインで公開された新しいベンチマークであるConceptARCについて説明する。 本ベンチマークでは,3つのマシンソルバとともに,人体実験結果について報告する。
  論文  参考訳（メタデータ） (2023-05-11T21:06:39Z)
• Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI) [68.8204255655161]
  XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。 認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。 本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:20:22Z)
• A Human-Centric Assessment Framework for AI [11.065260433086024]
  説明可能なAIシステムをどのように評価すべきかに関して合意された基準はない。 チューリングテストに触発されて,人間中心のアセスメントフレームワークを導入する。 このセットアップは、広範囲の人間中心のAIシステムアセスメントのためのフレームワークとして機能する。
  論文  参考訳（メタデータ） (2022-05-25T12:59:13Z)
• Abstraction and Analogy-Making in Artificial Intelligence [0.0]
  現在のAIシステムは、人間のような抽象化やアナロジーを形成する能力に近づきません。 本稿では,記号的手法,深層学習,確率的プログラム誘導など,この目標に対するいくつかのアプローチの利点と限界についてレビューする。
  論文  参考訳（メタデータ） (2021-02-22T00:12:48Z)
• Thinking Fast and Slow in AI [38.8581204791644]
  本稿では,人間の意思決定の認知理論からインスピレーションを得たAI研究の方向性を提案する。 前提は、AIでまだ不足しているいくつかの人間の能力の原因について洞察を得ることができれば、AIシステムで同様の能力を得ることができるということです。
  論文  参考訳（メタデータ） (2020-10-12T20:10:05Z)
• Bongard-LOGO: A New Benchmark for Human-Level Concept Learning and Reasoning [78.13740873213223]
  ボナード問題(BP)は、インテリジェントシステムにおける視覚認知へのインスピレーションとして導入された。 我々は人間レベルの概念学習と推論のための新しいベンチマークBongard-LOGOを提案する。
  論文  参考訳（メタデータ） (2020-10-02T03:19:46Z)
• Machine Common Sense [77.34726150561087]
  機械の常識は、人工知能(AI)において広範で潜在的に無拘束な問題のままである 本稿では、対人インタラクションのようなドメインに焦点を当てたコモンセンス推論のモデル化の側面について論じる。
  論文  参考訳（メタデータ） (2020-06-15T13:59:47Z)
• A general framework for scientifically inspired explanations in AI [76.48625630211943]
  我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。 このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
  論文  参考訳（メタデータ） (2020-03-02T10:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。