論文の概要: COMET-ATOMIC 2020: On Symbolic and Neural Commonsense Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2010.05953v2
- Date: Thu, 16 Dec 2021 18:57:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 06:58:33.422961
- Title: COMET-ATOMIC 2020: On Symbolic and Neural Commonsense Knowledge Graphs
- Title（参考訳）: COMET-ATOMIC 2020:シンボリックとニューラルコモンセンスの知識グラフ
- Authors: Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras, Jeff Da, Keisuke
Sakaguchi, Antoine Bosselut, Yejin Choi
- Abstract要約: 我々は,手作業で構築したコモンセンス知識グラフ(CSKG)が,NLPエージェントが遭遇するすべての状況に適用可能な範囲を達成できないことを示す。
我々は、事前訓練された言語モデルでは利用できない知識を含む汎用コモンセンス知識の新しいCSKGであるATOMIC 2020を提案する。
我々は,他のCSKGと比較してその特性を評価し,コモンセンス知識資源の大規模一対研究を行った。
- 参考スコア（独自算出の注目度）: 82.8453695903687
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent years have brought about a renewed interest in commonsense
representation and reasoning in the field of natural language understanding.
The development of new commonsense knowledge graphs (CSKG) has been central to
these advances as their diverse facts can be used and referenced by machine
learning models for tackling new and challenging tasks. At the same time, there
remain questions about the quality and coverage of these resources due to the
massive scale required to comprehensively encompass general commonsense
knowledge.
In this work, we posit that manually constructed CSKGs will never achieve the
coverage necessary to be applicable in all situations encountered by NLP
agents. Therefore, we propose a new evaluation framework for testing the
utility of KGs based on how effectively implicit knowledge representations can
be learned from them.
With this new goal, we propose ATOMIC 2020, a new CSKG of general-purpose
commonsense knowledge containing knowledge that is not readily available in
pretrained language models. We evaluate its properties in comparison with other
leading CSKGs, performing the first large-scale pairwise study of commonsense
knowledge resources. Next, we show that ATOMIC 2020 is better suited for
training knowledge models that can generate accurate, representative knowledge
for new, unseen entities and events. Finally, through human evaluation, we show
that the few-shot performance of GPT-3 (175B parameters), while impressive,
remains ~12 absolute points lower than a BART-based knowledge model trained on
ATOMIC 2020 despite using over 430x fewer parameters.
- Abstract（参考訳）: 近年、自然言語理解の分野において、コモンセンス表現や推論に新たな関心が寄せられている。
新しいコモンセンス知識グラフ(CSKG)の開発は、これらの進歩の中心であり、その多様な事実を機械学習モデルによって利用し、新しい課題に対処するために参照することができる。
同時に、一般的な常識知識を包括的に包括するために必要な大規模な規模のため、これらのリソースの品質とカバレッジに関する疑問が残る。
本研究では,手作業で構築したCSKGが,NLPエージェントが遭遇するすべての状況に適用可能な範囲を達成できないことを示唆する。
そこで本研究では,暗黙的な知識表現がいかに効果的に学習できるかに基づいて,KGの実用性をテストするための新しい評価フレームワークを提案する。
この新たな目標により、事前訓練された言語モデルでは利用できない知識を含む汎用コモンセンス知識の新しいCSKGであるATOMIC 2020を提案する。
我々は,他のCSKGと比較してその特性を評価し,コモンセンス知識資源の大規模研究を行った。
次に,新たな未知のエンティティやイベントに対して,正確かつ代表的な知識を生成可能な知識モデルのトレーニングに,atomic 2020がより適していることを示す。
最後に,人間による評価により,gpt-3(175bパラメータ)の最小ショット性能は印象的ではあるが,アトミック2020でトレーニングされたbartベースの知識モデルに比べて,430倍以上のパラメータを使用しても,絶対値が約12点低いことが判明した。
関連論文リスト
- Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。
まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。
第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。
第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
論文 参考訳（メタデータ） (2023-10-09T11:45:59Z) - Rethinking Language Models as Symbolic Knowledge Graphs [7.192286645674803]
シンボリック・ナレッジグラフ(英語版)(KG)は、検索、質問応答、レコメンデーションといった知識中心のアプリケーションにおいて重要な役割を果たす。
我々は、対称性、非対称性、階層性、双方向性、構成性、パス、エンティティ中心性、バイアス、曖昧さを含む属性のスペクトルを含む9つの定性的ベンチマークを構築した。
論文 参考訳（メタデータ） (2023-08-25T21:25:08Z) - ComFact: A Benchmark for Linking Contextual Commonsense Knowledge [31.19689856957576]
そこで我々は,KGから状況に関連のあるコモンセンス知識を特定するために,モデルにコンテキストを付与し,訓練を行う,コモンセンス事実リンクの新しい課題を提案する。
われわれの新しいベンチマークであるComFactは、4つのスタイリスティックな多様なデータセットにまたがるコモンセンスのための293kのインコンテキスト関連アノテーションを含んでいる。
論文 参考訳（メタデータ） (2022-10-23T09:30:39Z) - BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from
Pretrained Language Models [65.51390418485207]
本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。
関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。
我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
論文 参考訳（メタデータ） (2022-06-28T19:46:29Z) - Great Truths are Always Simple: A Rather Simple Knowledge Encoder for
Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models [89.98762327725112]
自然言語における常識推論は、人工知能システムの望ましい能力である。
複雑なコモンセンス推論タスクを解決するための典型的な解決策は、知識対応グラフニューラルネットワーク(GNN)エンコーダで事前訓練された言語モデル(PTM)を強化することである。
有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
論文 参考訳（メタデータ） (2022-05-04T01:27:36Z) - Low-resource Learning with Knowledge Graphs: A Comprehensive Survey [34.18863318808325]
機械学習の手法は、トレーニングのためにラベル付きサンプルを多用することが多い。
低リソースの学習は、十分なリソースを持たない堅牢な予測モデルを学ぶことを目的としています。
知識グラフ(KG)は、知識表現においてますます人気が高まっている。
論文 参考訳（メタデータ） (2021-12-18T21:40:50Z) - DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for
Natural Language Understanding [19.478288026844893]
知識強化事前学習言語モデル(英: Knowledge-Enhanced Pre-trained Language Models, KEPLM)は、知識グラフから3重関係を注入して言語理解能力を向上させる事前学習モデルである。
従来の研究は、知識グラフから得られた知識を表現するための知識エンコーダとモデルを統合する。
本稿では,事前学習,微調整,推論段階における事前学習言語モデルの知識注入過程を分解する,DKPLMという新しいKEPLMを提案する。
論文 参考訳（メタデータ） (2021-12-02T08:19:42Z) - DISCOS: Bridging the Gap between Discourse Knowledge and Commonsense
Knowledge [42.08569149041291]
代替コモンセンス知識獲得フレームワーク DISCOS を提案します。
DISCOSは高価なコモンセンス知識をより手頃な言語知識資源に投入する。
我々は,ASERの中核部にATOMICを投入することにより,3.4M ATOMICライクな推論コモンセンス知識を得ることができる。
論文 参考訳（メタデータ） (2021-01-01T03:30:38Z) - All About Knowledge Graphs for Actions [82.39684757372075]
ゼロショットと少数ショットのアクション認識に使用できる知識グラフ(KG)の理解を深める。
KGsの3つの異なる構成機構について検討した。
異なる実験装置に対する異なるKGの影響を広範囲に解析する。
論文 参考訳（メタデータ） (2020-08-28T01:44:01Z) - Common Sense or World Knowledge? Investigating Adapter-Based Knowledge
Injection into Pretrained Transformers [54.417299589288184]
本研究では,概念ネットとそれに対応するオープンマインド・コモンセンス(OMCS)コーパスから,BERTの分布知識と概念知識を補完するモデルについて検討する。
我々のアダプタベースのモデルは,ConceptNet や OMCS に明示的に存在する概念的知識のタイプを必要とする推論タスクにおいて,BERT を大幅に上回っている。
論文 参考訳（メタデータ） (2020-05-24T15:49:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。