論文の概要: CREAK: A Dataset for Commonsense Reasoning over Entity Knowledge

• arxiv url: http://arxiv.org/abs/2109.01653v1
• Date: Fri, 3 Sep 2021 17:56:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-06 14:07:13.515863
• Title: CREAK: A Dataset for Commonsense Reasoning over Entity Knowledge
• Title（参考訳）: CREAK: エンティティ知識に関する常識推論のためのデータセット
• Authors: Yasumasa Onoe, Michael J.Q. Zhang, Eunsol Choi, Greg Durrett
• Abstract要約: エンティティ知識に関するコモンセンス推論のためのテストベッドであるCREAKを紹介する。 私たちのデータセットは、真か偽かのエンティティに関する13万の人間によるイングランドの主張で構成されています。 クラウドワーカーはこれらのステートメントを簡単に見つけ出すことができ、データセット上での人間のパフォーマンスは高い。
• 参考スコア（独自算出の注目度）: 32.61883349110328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most benchmark datasets targeting commonsense reasoning focus on everyday scenarios: physical knowledge like knowing that you could fill a cup under a waterfall [Talmor et al., 2019], social knowledge like bumping into someone is awkward [Sap et al., 2019], and other generic situations. However, there is a rich space of commonsense inferences anchored to knowledge about specific entities: for example, deciding the truthfulness of a claim "Harry Potter can teach classes on how to fly on a broomstick." Can models learn to combine entity knowledge with commonsense reasoning in this fashion? We introduce CREAK, a testbed for commonsense reasoning about entity knowledge, bridging fact-checking about entities (Harry Potter is a wizard and is skilled at riding a broomstick) with commonsense inferences (if you're good at a skill you can teach others how to do it). Our dataset consists of 13k human-authored English claims about entities that are either true or false, in addition to a small contrast set. Crowdworkers can easily come up with these statements and human performance on the dataset is high (high 90s); we argue that models should be able to blend entity knowledge and commonsense reasoning to do well here. In our experiments, we focus on the closed-book setting and observe that a baseline model finetuned on existing fact verification benchmark struggles on CREAK. Training a model on CREAK improves accuracy by a substantial margin, but still falls short of human performance. Our benchmark provides a unique probe into natural language understanding models, testing both its ability to retrieve facts (e.g., who teaches at the University of Chicago?) and unstated commonsense knowledge (e.g., butlers do not yell at guests).
• Abstract（参考訳）: ウォーターフォール(talmor et al., 2019)の下でカップを満たすことができることを知るような物理的な知識、誰かにぶつかるといった社会的な知識は厄介です [sap et al., 2019]、その他の一般的な状況。 しかし、特定の実体に関する知識に固定されたコモンセンス推論の豊富な空間がある:例えば、主張の真理性を決定する:「ハリー・ポッターは、ほうきで飛ぶ方法を教えることができる」。 モデルは、エンティティ知識とコモンセンス推論をこの方法で組み合わせることを学ぶことができるか? 私たちは、エンティティ知識に関するコモンセンス推論のためのテストベッドであるCREAKを紹介します。エンティティに関する事実チェック(Harry Potterはウィザードであり、ほうきに乗るのに熟練しています)とコモンセンス推論(スキルが得意なら、他の人にその方法を教えることができます。 私たちのデータセットは、小さなコントラストセットに加えて、真または偽のエンティティに関する13万の人間によるイングランドの主張で構成されています。 クラウドワーカーはこれらのステートメントを簡単に見つけ出すことができ、データセット上での人的パフォーマンスは高い(高い90s)。 実験では,クローズドブックの設定に注目し,既存の事実検証ベンチマークに基づくベースラインモデルがCREAKで苦労していることを確認する。 CREAKのモデルのトレーニングは精度をかなりのマージンで向上させるが、それでも人間のパフォーマンスには欠ける。 私たちのベンチマークは、自然言語理解モデルに関するユニークな調査を提供し、事実を検索する能力(例えば、シカゴ大学で教える人など)をテストする。 そして、無言の常識の知識(例えば、バトラーは客に叫ばない)。

関連論文リスト

• What Really is Commonsense Knowledge? [58.5342212738895]
  我々は、既存のコモンセンス知識の定義を調査し、概念を定義するための3つのフレームワークに基礎を置き、それらをコモンセンス知識の統一的な定義に統合する。 次に、アノテーションと実験のための統合された定義をCommonsenseQAとCommonsenseQA 2.0データセットで使用します。 本研究は,2つのデータセットには非常識知識のインスタンスが多数存在し,これら2つのサブセットに対して大きな性能差があることを示す。
  論文  参考訳（メタデータ） (2024-11-06T14:54:19Z)
• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Physics of Language Models: Part 3.2, Knowledge Manipulation [51.68385617116854]
  本稿では,4つの基本的な知識操作タスクについて検討する。 言語モデルは知識検索に優れるが、最も単純な分類や比較タスクにも耐え難い。 また, GPT-4のような近代的な事前学習言語モデルにも適用できる。
  論文  参考訳（メタデータ） (2023-09-25T17:50:41Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• Visually Grounded Commonsense Knowledge Acquisition [132.42003872906062]
  大規模なコモンセンス知識ベースは、幅広いAIアプリケーションを促進する。 視覚知覚には、現実世界の実体に関する豊富な常識知識が含まれる。 本稿では,遠隔教師付きマルチインスタンス学習問題としてCKEを定式化するCLEVERを提案する。
  論文  参考訳（メタデータ） (2022-11-22T07:00:16Z)
• Commonsense Knowledge in Word Associations and ConceptNet [37.751909219863585]
  本稿では,ConcpetNet と SWOW という2つの大規模知識資源の詳細な比較を行った。 本稿では,2つのグラフの構造,重なり合い,相違点と,それらが状況的常識的知識をエンコードする程度について検討する。
  論文  参考訳（メタデータ） (2021-09-20T06:06:30Z)
• BERTnesia: Investigating the capture and forgetting of knowledge in BERT [7.304523502384361]
  我々はBERTを探索し、そのパラメトリックメモリで捉えた関係知識を理解し、測定する。 以上の結果から,知識はBERTの最終層にのみ含まれていないことが明らかとなった。 BERTが微調整されると、関係知識は忘れられる。
  論文  参考訳（メタデータ） (2021-06-05T14:23:49Z)
• CoCoLM: COmplex COmmonsense Enhanced Language Model [45.396629052897524]
  予め訓練された言語モデルが複雑な共通知識をよりよく取り入れるように提案します。 既存の微調整アプローチとは異なり、特定のタスクに集中せず、CoCoLMという汎用言語モデルを提案する。 学習済み言語モデルに複雑な常識の知識を身に付けることに成功しました。
  論文  参考訳（メタデータ） (2020-12-31T15:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。