論文の概要: How Commonsense Knowledge Helps with Natural Language Tasks: A Survey of
Recent Resources and Methodologies
- arxiv url: http://arxiv.org/abs/2108.04674v1
- Date: Tue, 10 Aug 2021 13:25:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-11 14:25:49.836788
- Title: How Commonsense Knowledge Helps with Natural Language Tasks: A Survey of
Recent Resources and Methodologies
- Title(参考訳): 常識知識が自然言語課題にどのように役立つか--最近の資源・方法論調査
- Authors: Yubo Xie, Pearl Pu
- Abstract要約: まず、いくつかの一般的なコモンセンス知識ベースとコモンセンス推論ベンチマークをレビューするが、方法論をより強調する。
自然言語処理におけるコモンセンス推論の境界を推し進める際の今後の方向性について論じる。
- 参考スコア(独自算出の注目度): 0.76146285961466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we give an overview of commonsense reasoning in natural
language processing, which requires a deeper understanding of the contexts and
usually involves inference over implicit external knowledge. We first review
some popular commonsense knowledge bases and commonsense reasoning benchmarks,
but give more emphasis on the methodologies, including recent approaches that
aim at solving some general natural language problems that take advantage of
external knowledge bases. Finally, we discuss some future directions in pushing
the boundary of commonsense reasoning in natural language processing.
- Abstract(参考訳): 本稿では,自然言語処理におけるコモンセンス推論の概要について述べる。文脈を深く理解し,通常,暗黙の外部知識よりも推論を必要とする。
まず,いくつかの一般的なコモンセンス知識ベースとコモンセンス推論ベンチマークをレビューするが,外部知識ベースを生かした自然言語問題の解決を目的とした最近のアプローチを含め,方法論に重点を置いている。
最後に,自然言語処理におけるコモンセンス推論の境界を推し進める際の今後の方向性について論じる。
関連論文リスト
- Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳(メタデータ) (2023-06-04T15:44:51Z) - ChatABL: Abductive Learning via Natural Language Interaction with
ChatGPT [72.83383437501577]
大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。
LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。
本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-21T16:23:47Z) - Natural Language Reasoning, A Survey [16.80326702160048]
概念的には、NLPにおける自然言語推論の明確な定義を提供する。
我々はNLPにおける自然言語推論に関する総合的な文献レビューを行う。
論文はまた、多段階推論の強力なパラダイムである後方推論を特定し、考察する。
論文 参考訳(メタデータ) (2023-03-26T13:44:18Z) - Language Models as Inductive Reasoners [125.99461874008703]
本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。
タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。
我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
論文 参考訳(メタデータ) (2022-12-21T11:12:14Z) - Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。
このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。
特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
論文 参考訳(メタデータ) (2021-10-15T21:58:03Z) - Survey on reinforcement learning for language processing [17.738843098424816]
本稿では,自然言語処理の諸問題に対する強化学習手法の現状について概説する。
問題の詳細な説明とRLがそれらを解決するのに適している理由の議論を提供します。
強化学習の恩恵を受ける自然言語処理における有望な研究方向について詳述する。
論文 参考訳(メタデータ) (2021-04-12T15:33:11Z) - Dimensions of Commonsense Knowledge [60.49243784752026]
我々は,その関係に特に焦点をあてて,広く普及しているコモンセンスソースを調査した。
我々はこれらの関係を13の知識次元に集約し、それぞれがソースにあるより具体的な関係を抽象化する。
論文 参考訳(メタデータ) (2021-01-12T17:52:39Z) - A Data-Driven Study of Commonsense Knowledge using the ConceptNet
Knowledge Base [8.591839265985412]
汎用人工知能(AI)の実現における重要なフロンティアとして,コモンセンス知識と推論の獲得が認められている。
本稿では,コンセプションネットの知識基盤を実証的かつ構造的に分析することにより,コモンセンス知識のより深い理解を可能にする体系的な研究を提案し,実施する。
最先端の教師なしグラフ表現学習(「埋め込み」)とクラスタリング技術を用いて、慎重に設計された3つの研究課題に関する詳細な実験結果から、ConceptNet関係の深いサブ構造を明らかにする。
論文 参考訳(メタデータ) (2020-11-28T08:08:25Z) - Question Answering over Knowledge Base using Language Model Embeddings [0.0]
本稿では,知識ベース質問回答タスクにおける事前学習言語モデルの利用に焦点を当てる。
さらに,これらの埋め込みを知識ベースから質問まで,双方向の注意機構で微調整した。
提案手法は,質問事項を表現するためのマルチヘッドアテンション機構を備えた,単純な畳み込みニューラルネットワークアーキテクチャに基づいている。
論文 参考訳(メタデータ) (2020-10-17T22:59:34Z) - Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。
探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。
実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
論文 参考訳(メタデータ) (2020-04-11T20:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。