論文の概要: How Commonsense Knowledge Helps with Natural Language Tasks: A Survey of
Recent Resources and Methodologies
- arxiv url: http://arxiv.org/abs/2108.04674v1
- Date: Tue, 10 Aug 2021 13:25:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-11 14:25:49.836788
- Title: How Commonsense Knowledge Helps with Natural Language Tasks: A Survey of
Recent Resources and Methodologies
- Title（参考訳）: 常識知識が自然言語課題にどのように役立つか--最近の資源・方法論調査
- Authors: Yubo Xie, Pearl Pu
- Abstract要約: まず、いくつかの一般的なコモンセンス知識ベースとコモンセンス推論ベンチマークをレビューするが、方法論をより強調する。
自然言語処理におけるコモンセンス推論の境界を推し進める際の今後の方向性について論じる。
- 参考スコア（独自算出の注目度）: 0.76146285961466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we give an overview of commonsense reasoning in natural
language processing, which requires a deeper understanding of the contexts and
usually involves inference over implicit external knowledge. We first review
some popular commonsense knowledge bases and commonsense reasoning benchmarks,
but give more emphasis on the methodologies, including recent approaches that
aim at solving some general natural language problems that take advantage of
external knowledge bases. Finally, we discuss some future directions in pushing
the boundary of commonsense reasoning in natural language processing.
- Abstract（参考訳）: 本稿では,自然言語処理におけるコモンセンス推論の概要について述べる。文脈を深く理解し,通常,暗黙の外部知識よりも推論を必要とする。
まず,いくつかの一般的なコモンセンス知識ベースとコモンセンス推論ベンチマークをレビューするが,外部知識ベースを生かした自然言語問題の解決を目的とした最近のアプローチを含め,方法論に重点を置いている。
最後に,自然言語処理におけるコモンセンス推論の境界を推し進める際の今後の方向性について論じる。
関連論文リスト
- Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳（メタデータ） (2023-06-04T15:44:51Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳（メタデータ） (2023-05-15T15:47:09Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳（メタデータ） (2022-11-11T04:29:02Z) - Meta Learning for Natural Language Processing: A Survey [88.58260839196019]
ディープラーニングは自然言語処理(NLP)分野において主要な技術である。
ディープラーニングには多くのラベル付きデータが必要です。
メタ学習は、より良いアルゴリズムを学ぶためのアプローチを研究する機械学習の分野である。
論文 参考訳（メタデータ） (2022-05-03T13:58:38Z) - Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。
このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。
特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
論文 参考訳（メタデータ） (2021-10-15T21:58:03Z) - Does Knowledge Help General NLU? An Empirical Study [13.305282275999781]
言語モデルのエンドツーエンド性能を計測し,外部知識の寄与について検討する。
知識の導入は、他のタスクに悪影響を及ぼすことなく、特定のタスクにおける結果を大幅に改善できることがわかった。
論文 参考訳（メタデータ） (2021-09-01T18:17:36Z) - Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。
探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。
実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
論文 参考訳（メタデータ） (2020-04-11T20:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。