論文の概要: Incorporating Commonsense Knowledge Graph in Pretrained Models for Social Commonsense Tasks

• arxiv url: http://arxiv.org/abs/2105.05457v1
• Date: Wed, 12 May 2021 06:45:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-13 12:27:26.676511
• Title: Incorporating Commonsense Knowledge Graph in Pretrained Models for Social Commonsense Tasks
• Title（参考訳）: 社会的コモンセンス課題の事前学習モデルへのコモンセンス知識グラフの導入
• Authors: Ting-Yun Chang, Yang Liu, Karthik Gopalakrishnan, Behnam Hedayatnia, Pei Zhou, Dilek Hakkani-Tur
• Abstract要約: 外部共通知識グラフ(KG)は、単語とその関係に関する豊富な情報を提供します。 そこで本稿では,KGを事前学習言語モデルに組み込む方法を提案する。 本提案手法は,ソーシャルコモンセンス推論タスクであるSocialIQAにおいて,限られたトレーニングデータと完全なトレーニングデータの両方で良好なパフォーマンスを発揮することを実証する。
• 参考スコア（独自算出の注目度）: 6.335245542129822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained language models have excelled at many NLP tasks recently; however, their social intelligence is still unsatisfactory. To enable this, machines need to have a more general understanding of our complicated world and develop the ability to perform commonsense reasoning besides fitting the specific downstream tasks. External commonsense knowledge graphs (KGs), such as ConceptNet, provide rich information about words and their relationships. Thus, towards general commonsense learning, we propose two approaches to \emph{implicitly} and \emph{explicitly} infuse such KGs into pretrained language models. We demonstrate our proposed methods perform well on SocialIQA, a social commonsense reasoning task, in both limited and full training data regimes.
• Abstract（参考訳）: 事前訓練された言語モデルは近年多くのNLPタスクに優れていますが、社会的知性はまだ不十分です。 これを実現するには、マシンは我々の複雑な世界をより一般的に理解し、特定の下流タスクに適合する以外に常識推論を行う能力を開発する必要がある。 概念ネットのような外部コモンセンス知識グラフ(KG)は、単語とその関係に関する豊富な情報を提供する。 そこで,一般的なコモンセンス学習に向けて,<emph{implicitly} と<emph{explicitly} の2つのアプローチを提案する。 本稿では,ソーシャルコモンセンス推論タスクであるSocialIQAにおいて,限定的および完全トレーニングデータ体制において,提案手法の有効性を実証する。

関連論文リスト

• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• LaSQuE: Improved Zero-Shot Classification from Explanations Through Quantifier Modeling and Curriculum Learning [12.278877764015725]
  本稿では,3つの新しい戦略を用いて,ゼロショット分類器を言語説明から学習する手法であるLaSQuEを提案する。 これらの戦略により、LaSQuEは以前の作業よりも優れており、現実の分類タスクを目にしないように一般化することで、最大7%の絶対的な増加を示している。
  論文  参考訳（メタデータ） (2022-12-18T15:10:05Z)
• DictBERT: Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive Learning [18.838291575019504]
  事前訓練された言語モデル(PLM)は、知識駆動タスクを扱う際に知識が不足していることが示されている。 辞書知識で PLM を強化する新しい手法である textbfDictBERT を提案する。 我々は、NER、関係抽出、CommonsenseQA、OpenBookQA、GLUEなど、さまざまな知識駆動型および言語理解タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-01T06:43:19Z)
• GreaseLM: Graph REASoning Enhanced Language Models for Question Answering [159.9645181522436]
  GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。 GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
  論文  参考訳（メタデータ） (2022-01-21T19:00:05Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)
• Understanding Few-Shot Commonsense Knowledge Models [39.31365020474205]
  トレーニングの常識知識モデルを数ショットで調査します。 数発の訓練システムから得られた知識に対する人間の品質評価は、完全に教師されたシステムから得られた知識の6%以内のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2021-01-01T19:01:09Z)
• CoCoLM: COmplex COmmonsense Enhanced Language Model [45.396629052897524]
  予め訓練された言語モデルが複雑な共通知識をよりよく取り入れるように提案します。 既存の微調整アプローチとは異なり、特定のタスクに集中せず、CoCoLMという汎用言語モデルを提案する。 学習済み言語モデルに複雑な常識の知識を身に付けることに成功しました。
  論文  参考訳（メタデータ） (2020-12-31T15:05:36Z)
• JAKET: Joint Pre-training of Knowledge Graph and Language Understanding [73.43768772121985]
  本稿では,知識グラフと言語の両方をモデル化する新しい事前学習フレームワークであるJAKETを提案する。 知識モジュールと言語モジュールは相互に支援するための重要な情報を提供する。 我々の設計により、事前学習されたモデルは、新しいドメインの見知らぬ知識グラフに容易に適応できる。
  論文  参考訳（メタデータ） (2020-10-02T05:53:36Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)
• Common Sense or World Knowledge? Investigating Adapter-Based Knowledge Injection into Pretrained Transformers [54.417299589288184]
  本研究では,概念ネットとそれに対応するオープンマインド・コモンセンス(OMCS)コーパスから,BERTの分布知識と概念知識を補完するモデルについて検討する。 我々のアダプタベースのモデルは,ConceptNet や OMCS に明示的に存在する概念的知識のタイプを必要とする推論タスクにおいて,BERT を大幅に上回っている。
  論文  参考訳（メタデータ） (2020-05-24T15:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。