論文の概要: Alleviating the Knowledge-Language Inconsistency: A Study for Deep Commonsense Knowledge

• arxiv url: http://arxiv.org/abs/2105.13607v1
• Date: Fri, 28 May 2021 06:26:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-31 20:20:46.749324
• Title: Alleviating the Knowledge-Language Inconsistency: A Study for Deep Commonsense Knowledge
• Title（参考訳）: 知識言語不整合の緩和--深部常識知識の研究
• Authors: Yi Zhang, Lei Li, Yunfang Wu, Qi Su, Xu Sun
• Abstract要約: 深層コモンセンス知識は、コモンセンス知識の重要な部分を占めている。 文に分散した深層コモンセンス知識をマイニングするための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 25.31716910260664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge facts are typically represented by relational triples, while we observe that some commonsense facts are represented by the triples whose forms are inconsistent with the expression of language. This inconsistency puts forward a challenge for pre-trained language models to deal with these commonsense knowledge facts. In this paper, we term such knowledge as deep commonsense knowledge and conduct extensive exploratory experiments on it. We show that deep commonsense knowledge occupies a significant part of commonsense knowledge while conventional methods fail to capture it effectively. We further propose a novel method to mine the deep commonsense knowledge distributed in sentences, alleviating the reliance of conventional methods on the triple representation form of knowledge. Experiments demonstrate that the proposal significantly improves the performance in mining deep commonsense knowledge.
• Abstract（参考訳）: 知識事実は一般に関係性三重項で表されるが、いくつかの常識的事実は言語表現と矛盾する形式を持つ三重項で表される。 この矛盾は、これらの常識的な知識事実を扱うために、事前訓練された言語モデルに課題を提起する。 本稿では,このような知識を深層コモンセンス知識と呼び,広範囲にわたる探索実験を行う。 従来の手法では効果的に捉えられていないが,深部共通センス知識は共通センス知識のかなりの部分を占めている。 さらに,知識の3重表現形式に対する従来の手法の信頼度を緩和し,文章に分散した深層常識知識のマイニング手法を提案する。 実験により,提案手法は深層コモンセンス知識のマイニングにおける性能を著しく向上させることが示された。

関連論文リスト

• What Really is Commonsense Knowledge? [58.5342212738895]
  我々は、既存のコモンセンス知識の定義を調査し、概念を定義するための3つのフレームワークに基礎を置き、それらをコモンセンス知識の統一的な定義に統合する。 次に、アノテーションと実験のための統合された定義をCommonsenseQAとCommonsenseQA 2.0データセットで使用します。 本研究は,2つのデータセットには非常識知識のインスタンスが多数存在し,これら2つのサブセットに対して大きな性能差があることを示す。
  論文  参考訳（メタデータ） (2024-11-06T14:54:19Z)
• DiffuCOMET: Contextual Commonsense Knowledge Diffusion [29.23102821128395]
  本研究では、拡散を利用して物語コンテキストと関連するコモンセンス知識の間の暗黙的な意味的関係を再構築する一連の知識モデルDiffuCOMETを開発する。 DiffuCOMETを評価するために,知識の多様性と文脈的関連性をより深く測定するコモンセンス推論のための新しい指標を提案する。 ComFact と WebNLG+ の2つの異なるベンチマークの結果から,DiffuCOMET が生成した知識は,コモンセンスの多様性,文脈的関連性,および既知の金の参照との整合性との間のトレードオフを良好に達成できることが示された。
  論文  参考訳（メタデータ） (2024-02-26T20:35:34Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Investigating Forgetting in Pre-Trained Representations Through Continual Learning [51.30807066570425]
  事前学習した言語モデルの汎用性に及ぼす表現忘れの影響について検討する。 様々な事前学習されたLMで一般化が破壊され,構文的・意味的知識は連続学習によって忘れられることがわかった。
  論文  参考訳（メタデータ） (2023-05-10T08:27:59Z)
• Eliciting Knowledge from Large Pre-Trained Models for Unsupervised Knowledge-Grounded Conversation [45.95864432188745]
  大規模事前学習の最近の進歩は、原文から知識を学ぶ可能性のある大きなモデルを提供する。 大規模モデルから最良の知識を引き出す様々な手法を提案する。 私たちの人間による研究は、幻覚はあるものの、大きなモデルは常識を出力できるという独特な利点を誇示していることを示している。
  論文  参考訳（メタデータ） (2022-11-03T04:48:38Z)
• ComFact: A Benchmark for Linking Contextual Commonsense Knowledge [31.19689856957576]
  そこで我々は,KGから状況に関連のあるコモンセンス知識を特定するために,モデルにコンテキストを付与し,訓練を行う,コモンセンス事実リンクの新しい課題を提案する。 われわれの新しいベンチマークであるComFactは、4つのスタイリスティックな多様なデータセットにまたがるコモンセンスのための293kのインコンテキスト関連アノテーションを含んでいる。
  論文  参考訳（メタデータ） (2022-10-23T09:30:39Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)
• Dimensions of Commonsense Knowledge [60.49243784752026]
  我々は,その関係に特に焦点をあてて,広く普及しているコモンセンスソースを調査した。 我々はこれらの関係を13の知識次元に集約し、それぞれがソースにあるより具体的な関係を抽象化する。
  論文  参考訳（メタデータ） (2021-01-12T17:52:39Z)
• Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge [62.46091695615262]
  我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。 構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。 我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
  論文  参考訳（メタデータ） (2020-09-12T17:20:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。