論文の概要: Benchmarks for Automated Commonsense Reasoning: A Survey

• arxiv url: http://arxiv.org/abs/2302.04752v1
• Date: Thu, 9 Feb 2023 16:34:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-10 15:18:26.192126
• Title: Benchmarks for Automated Commonsense Reasoning: A Survey
• Title（参考訳）: 自動常識推論のためのベンチマーク: 調査
• Authors: Ernest Davis
• Abstract要約: AIシステムの常識知識と常識推論能力をテストするために、100以上のベンチマークが開発されている。 本稿では,AIコモンセンスベンチマークの開発と利用について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: More than one hundred benchmarks have been developed to test the commonsense knowledge and commonsense reasoning abilities of artificial intelligence (AI) systems. However, these benchmarks are often flawed and many aspects of common sense remain untested. Consequently, we do not currently have any reliable way of measuring to what extent existing AI systems have achieved these abilities. This paper surveys the development and uses of AI commonsense benchmarks. We discuss the nature of common sense; the role of common sense in AI; the goals served by constructing commonsense benchmarks; and desirable features of commonsense benchmarks. We analyze the common flaws in benchmarks, and we argue that it is worthwhile to invest the work needed ensure that benchmark examples are consistently high quality. We survey the various methods of constructing commonsense benchmarks. We enumerate 139 commonsense benchmarks that have been developed: 102 text-based, 18 image-based, 12 video based, and 7 simulated physical environments. We discuss the gaps in the existing benchmarks and aspects of commonsense reasoning that are not addressed in any existing benchmark. We conclude with a number of recommendations for future development of commonsense AI benchmarks.
• Abstract（参考訳）: 人工知能(AI)システムの常識知識と常識推論能力をテストするために、100以上のベンチマークが開発されている。 しかし、これらのベンチマークはしばしば欠陥があり、常識の多くの側面は未検証のままである。 したがって、現在、既存のAIシステムがこれらの能力をどの程度達成したかを測定する信頼できる方法を持っていません。 本稿では,AIコモンセンスベンチマークの開発と利用について検討する。 我々は、コモンセンスの性質、AIにおけるコモンセンスの役割、コモンセンスベンチマークの構築によるゴール、コモンセンスベンチマークの望ましい特徴について論じる。 ベンチマークの一般的な欠陥を分析し、ベンチマークの例が常に高品質であることを保証するために必要な作業に投資する価値があると論じます。 本稿では,Commonsenseベンチマークの構築方法について検討する。 102のテキストベース,18のイメージベース,12のビデオベース,7つのシミュレートされた物理環境の,139のcommonsenseベンチマークを列挙した。 既存のベンチマークのギャップと既存のベンチマークでは対処されていないコモンセンス推論の側面について論じる。 我々は、Commonsense AIベンチマークの今後の開発について、いくつかの推奨事項で結論付けている。

関連論文リスト

• Touchstone Benchmark: Are We on the Right Way for Evaluating AI Algorithms for Medical Segmentation? [90.30635552818875]
  9種類の腹部臓器の大規模共同セグメント化ベンチマークであるTouchstoneを報告する。 このベンチマークは、世界中の76の病院から5,195回のCTスキャンと、11の病院から5,903回のCTスキャンに基づいています。 私たちは19のAIアルゴリズムの発明者14人を招待してアルゴリズムをトレーニングしましたが、私たちのチームは第三者として、3つのテストセットでこれらのアルゴリズムを独立して評価しました。
  論文  参考訳（メタデータ） (2024-11-06T05:09:34Z)
• ECBD: Evidence-Centered Benchmark Design for NLP [95.50252564938417]
  ベンチマーク設計プロセスを5つのモジュールに形式化するフレームワークであるEvidence-Centered Benchmark Design (ECBD)を提案する。 各モジュールは、ベンチマーク設計の選択を記述し、正当化し、サポートする必要がある。 分析の結果,ベンチマークの妥当性を脅かす可能性のあるベンチマーク設計とドキュメントの共通する傾向が明らかになった。
  論文  参考訳（メタデータ） (2024-06-13T00:59:55Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• Introducing v0.5 of the AI Safety Benchmark from MLCommons [101.98401637778638]
  本稿では,MLCommons AI Safety Working Groupが作成したAI Safety Benchmarkのv0.5を紹介する。 このベンチマークは、チャットチューニング言語モデルを使用するAIシステムの安全性リスクを評価するように設計されている。
  論文  参考訳（メタデータ） (2024-04-18T15:01:00Z)
• A Theoretically Grounded Benchmark for Evaluating Machine Commonsense [6.725087407394836]
  理論的に答えるコモンセンス推論(TG-CSR)は差別的な質問応答に基づいているが、コモンセンスの多様な側面を評価するために設計された。 TG-CSRは、ゴードンとホッブズによるコモンセンスの実行可能な理論として最初に提案されたコモンセンス圏のサブセットに基づいている。 予備的な結果は、このベンチマークが差別的なCSR質問応答タスクのために設計された高度な言語表現モデルに対してさえ挑戦的であることを示唆している。
  論文  参考訳（メタデータ） (2022-03-23T04:06:01Z)
• The Benchmark Lottery [114.43978017484893]
  ベンチマーク宝くじ」は、機械学習ベンチマークプロセスの全体的な脆弱さを記述している。 アルゴリズムの相対的性能は、異なるベンチマークタスクを選択するだけで大幅に変化する可能性がある。
  論文  参考訳（メタデータ） (2021-07-14T21:08:30Z)
• What Will it Take to Fix Benchmarking in Natural Language Understanding? [30.888416756627155]
  我々は、NLUベンチマークが満たすべきと議論する4つの基準を定めている。 健全な評価エコシステムの復元には、ベンチマークデータセットの設計に大きな進歩が必要だ。
  論文  参考訳（メタデータ） (2021-04-05T20:36:11Z)
• Do Question Answering Modeling Improvements Hold Across Benchmarks? [84.48867898593052]
  20種類の多種多様なモデリング手法を用いて32のQAベンチマークの一致を計測する。 何年にもわたってコミュニティは少数のベンチマークに力を入れてきたが、研究対象のモデリングの改善は広く続いている。
  論文  参考訳（メタデータ） (2021-02-01T18:55:38Z)
• Exploring and Analyzing Machine Commonsense Benchmarks [0.13999481573773073]
  我々は、これらのアプローチのメタデータを調整するための共通の語彙の欠如は、システムの欠陥を理解するための努力で研究者を制限します。 ベンチマークメタデータを形式化する一般的な語彙であるMCS Benchmark Ontologyについて説明します。
  論文  参考訳（メタデータ） (2020-12-21T19:01:55Z)
• Do Fine-tuned Commonsense Language Models Really Generalize? [8.591839265985412]
  厳密な科学的研究を設計・実施することで、一般化問題を詳細に研究する。 実験装置の適度な変更があっても、微調整されたコモンセンス言語モデルがまだうまく一般化していないという明確な証拠が得られます。
  論文  参考訳（メタデータ） (2020-11-18T08:52:49Z)
• AIBench: An Agile Domain-specific Benchmarking Methodology and an AI Benchmark Suite [26.820244556465333]
  本稿では,アジャイルなドメイン固有のベンチマーク手法を提案する。 我々は10つの重要なエンドツーエンドアプリケーションシナリオを特定し、そのうち16の代表的なAIタスクをAIコンポーネントベンチマークとして抽出する。 最初のエンドツーエンドのインターネットサービスAIベンチマークを提示する。
  論文  参考訳（メタデータ） (2020-02-17T07:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。