論文の概要: Alleviating the Knowledge-Language Inconsistency: A Study for Deep
Commonsense Knowledge
- arxiv url: http://arxiv.org/abs/2105.13607v2
- Date: Mon, 31 May 2021 13:09:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-01 12:51:58.669354
- Title: Alleviating the Knowledge-Language Inconsistency: A Study for Deep
Commonsense Knowledge
- Title(参考訳): 知識言語不整合の緩和--深部常識知識の研究
- Authors: Yi Zhang, Lei Li, Yunfang Wu, Qi Su, Xu Sun
- Abstract要約: 深層コモンセンス知識は、コモンセンス知識の重要な部分を占めている。
文に分散した深層コモンセンス知識をマイニングするための新しい手法を提案する。
- 参考スコア(独自算出の注目度): 25.31716910260664
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge facts are typically represented by relational triples, while we
observe that some commonsense facts are represented by the triples whose forms
are inconsistent with the expression of language. This inconsistency puts
forward a challenge for pre-trained language models to deal with these
commonsense knowledge facts. In this paper, we term such knowledge as deep
commonsense knowledge and conduct extensive exploratory experiments on it. We
show that deep commonsense knowledge occupies a significant part of commonsense
knowledge while conventional methods fail to capture it effectively. We further
propose a novel method to mine the deep commonsense knowledge distributed in
sentences, alleviating the reliance of conventional methods on the triple
representation form of knowledge. Experiments demonstrate that the proposal
significantly improves the performance in mining deep commonsense knowledge.
- Abstract(参考訳): 知識事実は一般に関係性三重項で表されるが、いくつかの常識的事実は言語表現と矛盾する形式を持つ三重項で表される。
この矛盾は、これらの常識的な知識事実を扱うために、事前訓練された言語モデルに課題を提起する。
本稿では,このような知識を深層コモンセンス知識と呼び,広範囲にわたる探索実験を行う。
従来の手法では効果的に捉えられていないが,深部共通センス知識は共通センス知識のかなりの部分を占めている。
さらに,知識の3重表現形式に対する従来の手法の信頼度を緩和し,文章に分散した深層常識知識のマイニング手法を提案する。
実験により,提案手法は深層コモンセンス知識のマイニングにおける性能を著しく向上させることが示された。
関連論文リスト
- DiffuCOMET: Contextual Commonsense Knowledge Diffusion [30.973659966133287]
本研究では、拡散を利用して物語コンテキストと関連するコモンセンス知識の間の暗黙的な意味的関係を再構築する一連の知識モデルDiffuCOMETを開発する。
DiffuCOMETを評価するために,知識の多様性と文脈的関連性をより深く測定するコモンセンス推論のための新しい指標を提案する。
ComFact と WebNLG+ の2つの異なるベンチマークの結果から,DiffuCOMET が生成した知識は,コモンセンスの多様性,文脈的関連性,および既知の金の参照との整合性との間のトレードオフを良好に達成できることが示された。
論文 参考訳(メタデータ) (2024-02-26T20:35:34Z) - CANDLE: Iterative Conceptualization and Instantiation Distillation from
Large Language Models for Commonsense Reasoning [46.84711485390993]
CANDLEは、コモンセンス知識ベースに対する概念化とインスタンス化を反復的に行うフレームワークである。
CANDLEをATOMICに適用することにより、600万の概念化と三重項のインスタンス化を含む総合的な知識基盤を構築する。
論文 参考訳(メタデータ) (2024-01-14T13:24:30Z) - Crystal: Introspective Reasoners Reinforced with Self-Feedback [118.53428015478957]
本稿では,イントロスペクティブ・コモンセンス推論器であるCrystalを開発するための新しい手法を提案する。
コモンセンス問題に対処するため、まず与えられた質問に関連する知識ステートメントのイントロスペクションを行い、その後、それまでのイントロスペクションされた知識に根ざした情報予測を行う。
実験により、クリスタルは標準的な微調整法と連鎖蒸留法の両方で著しく優れており、コモンセンス推論プロセスの透明性を高めていることが示された。
論文 参考訳(メタデータ) (2023-10-07T21:23:58Z) - Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳(メタデータ) (2023-06-04T15:44:51Z) - Investigating Forgetting in Pre-Trained Representations Through
Continual Learning [51.30807066570425]
事前学習した言語モデルの汎用性に及ぼす表現忘れの影響について検討する。
様々な事前学習されたLMで一般化が破壊され,構文的・意味的知識は連続学習によって忘れられることがわかった。
論文 参考訳(メタデータ) (2023-05-10T08:27:59Z) - Eliciting Knowledge from Large Pre-Trained Models for Unsupervised
Knowledge-Grounded Conversation [45.95864432188745]
大規模事前学習の最近の進歩は、原文から知識を学ぶ可能性のある大きなモデルを提供する。
大規模モデルから最良の知識を引き出す様々な手法を提案する。
私たちの人間による研究は、幻覚はあるものの、大きなモデルは常識を出力できるという独特な利点を誇示していることを示している。
論文 参考訳(メタデータ) (2022-11-03T04:48:38Z) - ComFact: A Benchmark for Linking Contextual Commonsense Knowledge [31.19689856957576]
そこで我々は,KGから状況に関連のあるコモンセンス知識を特定するために,モデルにコンテキストを付与し,訓練を行う,コモンセンス事実リンクの新しい課題を提案する。
われわれの新しいベンチマークであるComFactは、4つのスタイリスティックな多様なデータセットにまたがるコモンセンスのための293kのインコンテキスト関連アノテーションを含んでいる。
論文 参考訳(メタデータ) (2022-10-23T09:30:39Z) - Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。
このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。
特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
論文 参考訳(メタデータ) (2021-10-15T21:58:03Z) - Dimensions of Commonsense Knowledge [60.49243784752026]
我々は,その関係に特に焦点をあてて,広く普及しているコモンセンスソースを調査した。
我々はこれらの関係を13の知識次元に集約し、それぞれがソースにあるより具体的な関係を抽象化する。
論文 参考訳(メタデータ) (2021-01-12T17:52:39Z) - Improving Machine Reading Comprehension with Contextualized Commonsense
Knowledge [62.46091695615262]
我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。
構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。
我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
論文 参考訳(メタデータ) (2020-09-12T17:20:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。