論文の概要: CoSe-Co: Text Conditioned Generative CommonSense Contextualizer

• arxiv url: http://arxiv.org/abs/2206.05706v1
• Date: Sun, 12 Jun 2022 09:57:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 15:37:41.395962
• Title: CoSe-Co: Text Conditioned Generative CommonSense Contextualizer
• Title（参考訳）: CoSe-Co:テキスト条件付き生成コモンセンスコンテクストアライザ
• Authors: Rachit Bansal, Milan Aggarwal, Sumit Bhatia, Jivat Neet Kaur and Balaji Krishnamurthy
• Abstract要約: 事前訓練された言語モデル(PTLM)は、自然言語のタスクでうまく機能することが示されている。 文に条件付きCommonSense Contextualizer(CoSe-Co)を提案する。
• 参考スコア（独自算出の注目度）: 13.451001884972033
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pre-trained Language Models (PTLMs) have been shown to perform well on natural language tasks. Many prior works have leveraged structured commonsense present in the form of entities linked through labeled relations in Knowledge Graphs (KGs) to assist PTLMs. Retrieval approaches use KG as a separate static module which limits coverage since KGs contain finite knowledge. Generative methods train PTLMs on KG triples to improve the scale at which knowledge can be obtained. However, training on symbolic KG entities limits their applicability in tasks involving natural language text where they ignore overall context. To mitigate this, we propose a CommonSense Contextualizer (CoSe-Co) conditioned on sentences as input to make it generically usable in tasks for generating knowledge relevant to the overall context of input text. To train CoSe-Co, we propose a novel dataset comprising of sentence and commonsense knowledge pairs. The knowledge inferred by CoSe-Co is diverse and contain novel entities not present in the underlying KG. We augment generated knowledge in Multi-Choice QA and Open-ended CommonSense Reasoning tasks leading to improvements over current best methods on CSQA, ARC, QASC and OBQA datasets. We also demonstrate its applicability in improving performance of a baseline model for paraphrase generation task.
• Abstract（参考訳）: 事前訓練された言語モデル(PTLM)は、自然言語のタスクでうまく機能することが示されている。 多くの先行研究は、PTLMを支援するために知識グラフ(KG)のラベル付き関係を通してリンクされたエンティティの形で存在する構造化コモンセンスを活用している。 検索アプローチではKGを独立した静的モジュールとして使用し、KGは有限知識を含むためカバレッジを制限する。 生成法は知識が得られるスケールを改善するためにkgトリプルでptlmを訓練する。 しかしながら、シンボリックkgエンティティのトレーニングは、全体的なコンテキストを無視する自然言語テキストを含むタスクの適用性を制限する。 そこで本研究では,入力文として文を条件としたコモンセンス・コンテクストライザ (cose-co) を提案する。 CoSe-Coを訓練するために,文とコモンセンス知識ペアからなる新しいデータセットを提案する。 CoSe-Coによって推測される知識は多様であり、基礎となるKGには存在しない新しい実体を含んでいる。 我々は、CSQA、ARC、QASC、OBQAデータセットの現在のベストメソッドの改善につながるマルチコースQAおよびオープンエンドCommonSense Reasoningタスクで生成された知識を増強する。 また,パラフレーズ生成タスクのベースラインモデルの性能向上にも有効であることを示す。

関連論文リスト

• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems [58.561904356651276]
  本稿では,対話型推薦システムのためのエンティティの意味理解を改善するために,知識強化型エンティティ表現学習(KERL)フレームワークを紹介する。 KERLは知識グラフと事前訓練された言語モデルを使用して、エンティティの意味的理解を改善する。 KERLはレコメンデーションとレスポンス生成の両方のタスクで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-12-18T06:41:23Z)
• FedMKGC: Privacy-Preserving Federated Multilingual Knowledge Graph Completion [21.4302940596294]
  知識グラフ補完(KGC)は、知識グラフ(KG)の欠落事実を予測することを目的とする。 KG間で生データを転送することに依存する従来の方法は、プライバシー上の懸念を提起している。 我々は、生データ交換やエンティティアライメントを必要とせずに、複数のKGから暗黙的に知識を集約する新しい連合学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-17T08:09:27Z)
• Knowledge Graph-Augmented Language Models for Knowledge-Grounded Dialogue Generation [58.65698688443091]
  我々は、知識グラフ(KGs)を用いた文脈関連および知識基底対話を生成するためのフレームワークであるSUbgraph Retrieval-augmented GEneration (SURGE)を提案する。 我々のフレームワークはまずKGから関連するサブグラフを取得し、その後、検索したサブグラフによって条件付けられた単語の埋め込みを摂動することで、事実間の一貫性を強制する。 我々は,OpendialKGとKOMODISデータセットのSURGEフレームワークを検証し,KGの知識を忠実に反映した高品質な対話を生成することを示す。
  論文  参考訳（メタデータ） (2023-05-30T08:36:45Z)
• BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models [65.51390418485207]
  本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。 関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。 我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
  論文  参考訳（メタデータ） (2022-06-28T19:46:29Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• Knowledge Graph Based Synthetic Corpus Generation for Knowledge-Enhanced Language Model Pre-training [22.534866015730664]
  我々は全英Wikidata KGを言語化した。 Wikidataのような包括的で百科事典的なKGを言語化することで、構造化されたKGと自然言語コーパスを統合することができることを示す。
  論文  参考訳（メタデータ） (2020-10-23T22:14:50Z)
• Multilingual Knowledge Graph Completion via Ensemble Knowledge Transfer [43.453915033312114]
  知識グラフ(KG)に欠けている事実を予測することは、知識ベースの構築と推論において重要なタスクである。 KEnSは、学習と知識のアンサンブルを複数の言語固有のKGに組み込むための新しいフレームワークである。 5つの実世界の言語固有のKGの実験により、KEnSはKG完了に関する最先端の手法を一貫して改善していることが示された。
  論文  参考訳（メタデータ） (2020-10-07T04:54:03Z)
• CokeBERT: Contextual Knowledge Selection and Embedding towards Enhanced Pre-Trained Language Models [103.18329049830152]
  我々は,コンテキスト知識を動的に選択し,テキストコンテキストに応じて知識コンテキストを埋め込む,Cokeという新しいフレームワークを提案する。 実験の結果、コークは知識駆動型NLPタスクにおいて、様々なベースラインを上回ります。 コークは、テキスト関連の知識のセマンティクスを従来のPLMよりも解釈可能な形で記述することができる。
  論文  参考訳（メタデータ） (2020-09-29T12:29:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。