論文の概要: Common Sense Knowledge Learning for Open Vocabulary Neural Reasoning: A
First View into Chronic Disease Literature
- arxiv url: http://arxiv.org/abs/2111.13781v1
- Date: Sat, 27 Nov 2021 00:21:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-30 14:55:20.381674
- Title: Common Sense Knowledge Learning for Open Vocabulary Neural Reasoning: A
First View into Chronic Disease Literature
- Title(参考訳): オープンボキャブラリニューラル推論のための常識知識学習 : 慢性疾患文学への第一歩
- Authors: Ignacio Arroyo-Fern\'andez, Jos\'e Armando S\'anchez-Rojas, Arturo
Tellez-Vel\'azquez, Flavio Ju\'arez-Mart\'inez, Ra\'ul Cruz-Barbosa, Enrique
Guzm\'an-Ram\'irez, Yalbi Itzel Balderas-Mart\'inez
- Abstract要約: 我々は、最先端ニューラルネットワークモデル(NLM)を用いたオープン語彙知識ベース(openKB)からの推論タスクに対処する。
その結果,NLMは,ソースタスクとターゲットタスクの両方において,一貫した,かつ重要な知識推論を行うことができた。
- 参考スコア(独自算出の注目度): 1.4615254965614237
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we address reasoning tasks from open vocabulary Knowledge
Bases (openKBs) using state-of-the-art Neural Language Models (NLMs) with
applications in scientific literature. For this purpose, self-attention based
NLMs are trained using a common sense KB as a source task. The NLMs are then
tested on a target KB for open vocabulary reasoning tasks involving scientific
knowledge related to the most prevalent chronic diseases (also known as
non-communicable diseases, NCDs). Our results identified NLMs that performed
consistently and with significance in knowledge inference for both source and
target tasks. Furthermore, in our analysis by inspection we discussed the
semantic regularities and reasoning capabilities learned by the models, while
showing a first insight into the potential benefits of our approach to aid NCD
research.
- Abstract(参考訳): 本稿では,最先端ニューラルネットワークモデル(NLM)を用いたオープン語彙知識ベース(openKB)の推論タスクと科学文献への応用について述べる。
この目的のために、自己注意に基づくNLMは、ソースタスクとして常識KBを用いて訓練される。
NLMは、最も一般的な慢性疾患(非感染性疾患、NCDとも呼ばれる)に関連する科学的知識を含むオープン語彙推論タスクのターゲットKBでテストされる。
本研究は,ソースタスクとターゲットタスクの知識推論において,一貫して,かつ有意な性能を持つnlmを同定した。
さらに,検査による分析では,モデルが学習した意味的正則性と推論能力について検討し,ncd研究を支援するアプローチの潜在的メリットについて,最初の知見を示した。
関連論文リスト
- Exploring the Cognitive Knowledge Structure of Large Language Models: An
Educational Diagnostic Assessment Approach [50.125704610228254]
大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。
近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。
ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
論文 参考訳(メタデータ) (2023-10-12T09:55:45Z) - Integrating LLM, EEG, and Eye-Tracking Biomarker Analysis for Word-Level
Neural State Classification in Semantic Inference Reading Comprehension [4.390968520425543]
本研究は、意味的関係読解作業中の個人の神経状態に関する洞察を提供することを目的とする。
本研究では,LLM,視線,脳波(EEG)データを共同で分析し,読解中にキーワードに関連性のある単語をどのように処理するかについて検討する。
論文 参考訳(メタデータ) (2023-09-27T15:12:08Z) - Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳(メタデータ) (2023-06-04T15:44:51Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳(メタデータ) (2023-05-15T15:47:09Z) - Injecting Domain Knowledge in Language Models for Task-Oriented Dialogue
Systems [9.983102639594899]
プレトレーニング言語モデル(PLM)は、NLPアプリケーションにまたがる最先端の言語モデルである。
事前学習データに自然に発生することのないドメイン固有の知識は欠如している。
従来の研究では、下流の異なるNLPタスクに象徴的な知識を持つPLMが強化された。
論文 参考訳(メタデータ) (2022-12-15T20:15:05Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳(メタデータ) (2022-11-11T04:29:02Z) - Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。
このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。
特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
論文 参考訳(メタデータ) (2021-10-15T21:58:03Z) - Reasoning over Vision and Language: Exploring the Benefits of
Supplemental Knowledge [59.87823082513752]
本稿では,汎用知識基盤(KB)から視覚言語変換器への知識の注入について検討する。
我々は複数のタスクやベンチマークに対する様々なkbの関連性を実証的に研究する。
この技術はモデルに依存しず、最小限の計算オーバーヘッドで任意の視覚言語変換器の適用可能性を拡張することができる。
論文 参考訳(メタデータ) (2021-01-15T08:37:55Z) - Integration of Domain Knowledge using Medical Knowledge Graph Deep
Learning for Cancer Phenotyping [6.077023952306772]
本稿では,医学用語からの外部知識を単語埋め込みによって捉えた文脈に統合する手法を提案する。
提案手法は,Multitask Convolutional Neural Network (MT-CNN) を用いて,900Kの癌病理所見のデータセットから6つのがん特性を抽出する。
論文 参考訳(メタデータ) (2021-01-05T03:59:43Z) - A Systematic Review of Natural Language Processing for Knowledge
Management in Healthcare [0.6193838300896449]
本研究の目的は,NLPの可能性,特にNLPが医療領域における知識管理プロセスをどのようにサポートするかを明らかにすることである。
本稿では、医療分野における知識の創出、獲得、共有、適用の方法について、最先端のNLP研究を包括的に調査する。
論文 参考訳(メタデータ) (2020-07-17T17:50:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。