論文の概要: Natural Language Processing with Commonsense Knowledge: A Survey
- arxiv url: http://arxiv.org/abs/2108.04674v2
- Date: Fri, 13 Sep 2024 15:00:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 00:06:41.850089
- Title: Natural Language Processing with Commonsense Knowledge: A Survey
- Title（参考訳）: Commonsenseの知識による自然言語処理:サーベイ
- Authors: Yubo Xie, Zonghui Liu, Zongyang Ma, Fanyuan Meng, Yan Xiao, Fahui Miao, Pearl Pu,
- Abstract要約: 本稿では,様々なNLPタスクへのコモンセンス知識の統合について検討する。
我々は、異なるNLPタスクにまたがるコモンセンス知識とその応用を組み込むための重要な方法論を強調した。
また,コモンセンス推論を用いたNLPシステムの高度化における課題と動向について検討した。
- 参考スコア（独自算出の注目度）: 9.634283896785611
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Commonsense knowledge is essential for advancing natural language processing (NLP) by enabling models to engage in human-like reasoning, which requires a deeper understanding of context and often involves making inferences based on implicit external knowledge. This paper explores the integration of commonsense knowledge into various NLP tasks. We begin by reviewing prominent commonsense knowledge bases and then discuss the benchmarks used to evaluate the commonsense reasoning capabilities of NLP models, particularly language models. Furthermore, we highlight key methodologies for incorporating commonsense knowledge and their applications across different NLP tasks. The paper also examines the challenges and emerging trends in enhancing NLP systems with commonsense reasoning. All literature referenced in this survey can be accessed via our GitHub repository: https://github.com/yuboxie/awesome-commonsense.
- Abstract（参考訳）: 常識知識は、モデルが人間のような推論を行えるようにすることで自然言語処理(NLP)を進めるのに不可欠であり、文脈の深い理解を必要とし、しばしば暗黙の外部知識に基づいて推論を行う。
本稿では,様々なNLPタスクへのコモンセンス知識の統合について検討する。
まず、著名なコモンセンス知識ベースをレビューし、NLPモデルのコモンセンス推論能力、特に言語モデルを評価するために使用されるベンチマークについて議論する。
さらに,異なるNLPタスクにまたがるコモンセンス知識とその応用を組み込むための重要な手法を強調した。
また,コモンセンス推論を用いたNLPシステムの高度化における課題と動向について検討した。
この調査で参照されたすべての文献は、GitHubリポジトリ経由でアクセスすることができる。
関連論文リスト
- Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳（メタデータ） (2023-06-04T15:44:51Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳（メタデータ） (2023-05-15T15:47:09Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳（メタデータ） (2022-11-11T04:29:02Z) - Meta Learning for Natural Language Processing: A Survey [88.58260839196019]
ディープラーニングは自然言語処理(NLP)分野において主要な技術である。
ディープラーニングには多くのラベル付きデータが必要です。
メタ学習は、より良いアルゴリズムを学ぶためのアプローチを研究する機械学習の分野である。
論文 参考訳（メタデータ） (2022-05-03T13:58:38Z) - Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。
このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。
特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
論文 参考訳（メタデータ） (2021-10-15T21:58:03Z) - Does Knowledge Help General NLU? An Empirical Study [13.305282275999781]
言語モデルのエンドツーエンド性能を計測し,外部知識の寄与について検討する。
知識の導入は、他のタスクに悪影響を及ぼすことなく、特定のタスクにおける結果を大幅に改善できることがわかった。
論文 参考訳（メタデータ） (2021-09-01T18:17:36Z) - Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。
探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。
実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
論文 参考訳（メタデータ） (2020-04-11T20:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。