論文の概要: CREAK: A Dataset for Commonsense Reasoning over Entity Knowledge
- arxiv url: http://arxiv.org/abs/2109.01653v1
- Date: Fri, 3 Sep 2021 17:56:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-06 14:07:13.515863
- Title: CREAK: A Dataset for Commonsense Reasoning over Entity Knowledge
- Title(参考訳): CREAK: エンティティ知識に関する常識推論のためのデータセット
- Authors: Yasumasa Onoe, Michael J.Q. Zhang, Eunsol Choi, Greg Durrett
- Abstract要約: エンティティ知識に関するコモンセンス推論のためのテストベッドであるCREAKを紹介する。
私たちのデータセットは、真か偽かのエンティティに関する13万の人間によるイングランドの主張で構成されています。
クラウドワーカーはこれらのステートメントを簡単に見つけ出すことができ、データセット上での人間のパフォーマンスは高い。
- 参考スコア(独自算出の注目度): 32.61883349110328
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most benchmark datasets targeting commonsense reasoning focus on everyday
scenarios: physical knowledge like knowing that you could fill a cup under a
waterfall [Talmor et al., 2019], social knowledge like bumping into someone is
awkward [Sap et al., 2019], and other generic situations. However, there is a
rich space of commonsense inferences anchored to knowledge about specific
entities: for example, deciding the truthfulness of a claim "Harry Potter can
teach classes on how to fly on a broomstick." Can models learn to combine
entity knowledge with commonsense reasoning in this fashion? We introduce
CREAK, a testbed for commonsense reasoning about entity knowledge, bridging
fact-checking about entities (Harry Potter is a wizard and is skilled at riding
a broomstick) with commonsense inferences (if you're good at a skill you can
teach others how to do it). Our dataset consists of 13k human-authored English
claims about entities that are either true or false, in addition to a small
contrast set. Crowdworkers can easily come up with these statements and human
performance on the dataset is high (high 90s); we argue that models should be
able to blend entity knowledge and commonsense reasoning to do well here. In
our experiments, we focus on the closed-book setting and observe that a
baseline model finetuned on existing fact verification benchmark struggles on
CREAK. Training a model on CREAK improves accuracy by a substantial margin, but
still falls short of human performance. Our benchmark provides a unique probe
into natural language understanding models, testing both its ability to
retrieve facts (e.g., who teaches at the University of Chicago?) and unstated
commonsense knowledge (e.g., butlers do not yell at guests).
- Abstract(参考訳): ウォーターフォール(talmor et al., 2019)の下でカップを満たすことができることを知るような物理的な知識、誰かにぶつかるといった社会的な知識は厄介です [sap et al., 2019]、その他の一般的な状況。
しかし、特定の実体に関する知識に固定されたコモンセンス推論の豊富な空間がある:例えば、主張の真理性を決定する:「ハリー・ポッターは、ほうきで飛ぶ方法を教えることができる」。
モデルは、エンティティ知識とコモンセンス推論をこの方法で組み合わせることを学ぶことができるか?
私たちは、エンティティ知識に関するコモンセンス推論のためのテストベッドであるCREAKを紹介します。エンティティに関する事実チェック(Harry Potterはウィザードであり、ほうきに乗るのに熟練しています)とコモンセンス推論(スキルが得意なら、他の人にその方法を教えることができます。
私たちのデータセットは、小さなコントラストセットに加えて、真または偽のエンティティに関する13万の人間によるイングランドの主張で構成されています。
クラウドワーカーはこれらのステートメントを簡単に見つけ出すことができ、データセット上での人的パフォーマンスは高い(高い90s)。
実験では,クローズドブックの設定に注目し,既存の事実検証ベンチマークに基づくベースラインモデルがCREAKで苦労していることを確認する。
CREAKのモデルのトレーニングは精度をかなりのマージンで向上させるが、それでも人間のパフォーマンスには欠ける。
私たちのベンチマークは、自然言語理解モデルに関するユニークな調査を提供し、事実を検索する能力(例えば、シカゴ大学で教える人など)をテストする。
そして、無言の常識の知識(例えば、バトラーは客に叫ばない)。
関連論文リスト
- CANDLE: Iterative Conceptualization and Instantiation Distillation from
Large Language Models for Commonsense Reasoning [46.84711485390993]
CANDLEは、コモンセンス知識ベースに対する概念化とインスタンス化を反復的に行うフレームワークである。
CANDLEをATOMICに適用することにより、600万の概念化と三重項のインスタンス化を含む総合的な知識基盤を構築する。
論文 参考訳(メタデータ) (2024-01-14T13:24:30Z) - Physics of Language Models: Part 3.2, Knowledge Manipulation [61.05762942335984]
本稿では,言語モデルが推論中に記憶された知識を操作する能力について考察する。
検索(例:A属性X)、分類(例:A属性Xが偶数か奇数か)、比較(例:A属性XがBより大きいか?)、逆探索(例:A属性Xより大きいか?
論文 参考訳(メタデータ) (2023-09-25T17:50:41Z) - Can LMs Learn New Entities from Descriptions? Challenges in Propagating
Injected Knowledge [72.63368052592004]
我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。
既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。
しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
論文 参考訳(メタデータ) (2023-05-02T17:59:46Z) - Visually Grounded Commonsense Knowledge Acquisition [132.42003872906062]
大規模なコモンセンス知識ベースは、幅広いAIアプリケーションを促進する。
視覚知覚には、現実世界の実体に関する豊富な常識知識が含まれる。
本稿では,遠隔教師付きマルチインスタンス学習問題としてCKEを定式化するCLEVERを提案する。
論文 参考訳(メタデータ) (2022-11-22T07:00:16Z) - Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。
このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。
特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
論文 参考訳(メタデータ) (2021-10-15T21:58:03Z) - Commonsense Knowledge in Word Associations and ConceptNet [37.751909219863585]
本稿では,ConcpetNet と SWOW という2つの大規模知識資源の詳細な比較を行った。
本稿では,2つのグラフの構造,重なり合い,相違点と,それらが状況的常識的知識をエンコードする程度について検討する。
論文 参考訳(メタデータ) (2021-09-20T06:06:30Z) - BERTnesia: Investigating the capture and forgetting of knowledge in BERT [7.304523502384361]
我々はBERTを探索し、そのパラメトリックメモリで捉えた関係知識を理解し、測定する。
以上の結果から,知識はBERTの最終層にのみ含まれていないことが明らかとなった。
BERTが微調整されると、関係知識は忘れられる。
論文 参考訳(メタデータ) (2021-06-05T14:23:49Z) - Fact-driven Logical Reasoning for Machine Reading Comprehension [82.58857437343974]
私たちは、常識と一時的な知識のヒントの両方を階層的にカバーする動機があります。
具体的には,文の背骨成分を抽出し,知識単位の一般的な定式化を提案する。
次に、事実単位の上にスーパーグラフを構築し、文レベル(事実群間の関係)と実体レベルの相互作用の利点を享受する。
論文 参考訳(メタデータ) (2021-05-21T13:11:13Z) - CoCoLM: COmplex COmmonsense Enhanced Language Model [45.396629052897524]
予め訓練された言語モデルが複雑な共通知識をよりよく取り入れるように提案します。
既存の微調整アプローチとは異なり、特定のタスクに集中せず、CoCoLMという汎用言語モデルを提案する。
学習済み言語モデルに複雑な常識の知識を身に付けることに成功しました。
論文 参考訳(メタデータ) (2020-12-31T15:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。