論文の概要: Towards a Benchmark for Scientific Understanding in Humans and Machines
- arxiv url: http://arxiv.org/abs/2304.10327v2
- Date: Fri, 21 Apr 2023 08:57:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-24 11:23:52.091470
- Title: Towards a Benchmark for Scientific Understanding in Humans and Machines
- Title（参考訳）: 人間と機械の科学的理解のためのベンチマークに向けて
- Authors: Kristian Gonzalez Barman, Sascha Caron, Tom Claassen, Henk de Regt
- Abstract要約: 本稿では,科学哲学のツールを活用した科学的理解のためのベンチマークを作成するためのフレームワークを提案する。
我々は、真の理解を特定のタスクを実行する能力として認識すべき行動概念を採用する。
- 参考スコア（独自算出の注目度）: 2.714583452862024
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Scientific understanding is a fundamental goal of science, allowing us to
explain the world. There is currently no good way to measure the scientific
understanding of agents, whether these be humans or Artificial Intelligence
systems. Without a clear benchmark, it is challenging to evaluate and compare
different levels of and approaches to scientific understanding. In this
Roadmap, we propose a framework to create a benchmark for scientific
understanding, utilizing tools from philosophy of science. We adopt a
behavioral notion according to which genuine understanding should be recognized
as an ability to perform certain tasks. We extend this notion by considering a
set of questions that can gauge different levels of scientific understanding,
covering information retrieval, the capability to arrange information to
produce an explanation, and the ability to infer how things would be different
under different circumstances. The Scientific Understanding Benchmark (SUB),
which is formed by a set of these tests, allows for the evaluation and
comparison of different approaches. Benchmarking plays a crucial role in
establishing trust, ensuring quality control, and providing a basis for
performance evaluation. By aligning machine and human scientific understanding
we can improve their utility, ultimately advancing scientific understanding and
helping to discover new insights within machines.
- Abstract（参考訳）: 科学的理解は科学の基本的な目標であり、世界を説明することができる。
現在、エージェントの科学的理解を計測する方法は、人間であれ、人工知能システムであれ、存在しない。
明確なベンチマークがなければ、異なるレベルの科学的理解とアプローチを評価し比較することは困難である。
本稿では,科学哲学のツールを活用した科学的理解のためのベンチマークを作成するためのフレームワークを提案する。
我々は、真の理解を特定のタスクを実行する能力として認識すべき行動概念を採用する。
我々は、科学的理解の異なるレベルを計測できる質問セット、情報検索、説明を作成するための情報を整理する能力、異なる状況下での物事の違いを推測する能力を考えることで、この概念を拡張した。
これらの一連のテストによって形成されるScientific Understanding Benchmark (SUB)は、異なるアプローチの評価と比較を可能にする。
ベンチマークは、信頼の確立、品質管理の確保、パフォーマンス評価の基盤を提供する上で、重要な役割を果たす。
機械と人間の科学的理解を一致させることで、その有用性を改善し、究極的には科学的理解を前進させ、機械内の新しい洞察を見つけるのに役立つ。
関連論文リスト
- Explain the Black Box for the Sake of Science: the Scientific Method in the Era of Generative Artificial Intelligence [0.9065034043031668]
科学的手法は自然科学と応用科学の全ての分野における人間の進歩の基盤である。
我々は、人類の科学的発見のための複雑な推論が、少なくとも人工知能の出現以前には重要な存在であると主張している。
決定を下す上で重要なデータAIシステムを知ることは、ドメインの専門家や科学者との接触点になる可能性がある。
論文 参考訳（メタデータ） (2024-06-15T08:34:42Z) - Diverse Explanations From Data-Driven and Domain-Driven Perspectives in the Physical Sciences [4.442043151145212]
このパースペクティブは、物理科学における機械学習応用における多様な説明の源泉と意味を探求する。
モデル, 説明方法, 特徴属性レベル, 利害関係者のニーズが, ML出力の様々な解釈をもたらすかを検討する。
我々の分析は、科学的な文脈でMLモデルを解釈する際に、複数の視点を考慮することの重要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-02-01T05:28:28Z) - Machine Psychology [54.287802134327485]
我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。
本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。
これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
論文 参考訳（メタデータ） (2023-03-24T13:24:41Z) - Language Cognition and Language Computation -- Human and Machine
Language Understanding [51.56546543716759]
言語理解は認知科学とコンピュータ科学の分野で重要な科学的問題である。
これらの規律を組み合わせることで、インテリジェントな言語モデルを構築する上で、新たな洞察が得られますか?
論文 参考訳（メタデータ） (2023-01-12T02:37:00Z) - Towards Human Cognition Level-based Experiment Design for Counterfactual
Explanations (XAI) [68.8204255655161]
XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。
認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。
本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
論文 参考訳（メタデータ） (2022-10-31T19:20:22Z) - Towards Benchmarking Explainable Artificial Intelligence Methods [0.0]
我々は、ニューラルネットワークによって推進される決定を説明する方法から、科学理論の哲学を、期待できるもの、期待できないものを明らかにすることを目的として分析レンズとして利用する。
ケーススタディにより、動物とヘッドギアの2つの常在領域における説明可能性法の性能の選択について検討した。
これらの手法の有用性は、人間のドメイン知識と、理解し、一般化し、理性に頼っている、と私たちはうなずく。
論文 参考訳（メタデータ） (2022-08-25T14:28:30Z) - Satellite Image and Machine Learning based Knowledge Extraction in the
Poverty and Welfare Domain [0.0]
この文脈に関連する3つの中核要素である透明性、解釈可能性、説明可能性に焦点を当てた文献をレビューする。
本研究の広汎な普及と受容を支援するためには説明責任が不可欠である,と我々は主張する。
論文 参考訳（メタデータ） (2022-03-02T12:38:20Z) - Active Inference in Robotics and Artificial Agents: Survey and
Challenges [51.29077770446286]
我々は、状態推定、制御、計画、学習のためのアクティブ推論の最先端理論と実装についてレビューする。
本稿では、適応性、一般化性、堅牢性の観点から、その可能性を示す関連する実験を紹介する。
論文 参考訳（メタデータ） (2021-12-03T12:10:26Z) - AGENT: A Benchmark for Core Psychological Reasoning [60.35621718321559]
直観心理学は、観察可能な行動を駆動する隠された精神変数を推論する能力です。
他のエージェントを推論する機械エージェントに対する近年の関心にもかかわらず、そのようなエージェントが人間の推論を駆動するコア心理学の原則を学ぶか保持するかは明らかではない。
本稿では,プロシージャが生成する3dアニメーション,エージェントを4つのシナリオで構成したベンチマークを提案する。
論文 参考訳（メタデータ） (2021-02-24T14:58:23Z) - Understanding understanding: a renormalization group inspired model of
(artificial) intelligence [0.0]
本稿では,科学的および人工知能システムにおける理解の意味について述べる。
理解の数学的定義を与え、共通知恵とは対照的に、入力集合上の確率空間を定義する。
この枠組みに科学的理解がどのように適合するかを示し、科学的課題とパターン認識の違いを実証する。
論文 参考訳（メタデータ） (2020-10-26T11:11:46Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳（メタデータ） (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。