論文の概要: Common Sense Knowledge Learning for Open Vocabulary Neural Reasoning: A
First View into Chronic Disease Literature
- arxiv url: http://arxiv.org/abs/2111.13781v2
- Date: Tue, 30 Nov 2021 20:08:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-02 13:07:48.306848
- Title: Common Sense Knowledge Learning for Open Vocabulary Neural Reasoning: A
First View into Chronic Disease Literature
- Title(参考訳): オープンボキャブラリニューラル推論のための常識知識学習 : 慢性疾患文学への第一歩
- Authors: Ignacio Arroyo-Fern\'andez, Jos\'e Armando S\'anchez-Rojas, Arturo
Tellez-Vel\'azquez, Flavio Ju\'arez-Mart\'inez, Ra\'ul Cruz-Barbosa, Enrique
Guzm\'an-Ram\'irez, Yalbi Itzel Balderas-Mart\'inez
- Abstract要約: 我々は、最先端ニューラルネットワークモデル(NLM)を用いたオープン語彙知識ベース(openKB)からの推論タスクに対処する。
その結果,NLMは,ソースタスクとターゲットタスクの両方において,一貫した,かつ重要な知識推論を行うことができた。
- 参考スコア(独自算出の注目度): 1.4615254965614237
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we address reasoning tasks from open vocabulary Knowledge
Bases (openKBs) using state-of-the-art Neural Language Models (NLMs) with
applications in scientific literature. For this purpose, self-attention based
NLMs are trained using a common sense KB as a source task. The NLMs are then
tested on a target KB for open vocabulary reasoning tasks involving scientific
knowledge related to the most prevalent chronic diseases (also known as
non-communicable diseases, NCDs). Our results identified NLMs that performed
consistently and with significance in knowledge inference for both source and
target tasks. Furthermore, in our analysis by inspection we discussed the
semantic regularities and reasoning capabilities learned by the models, while
showing a first insight into the potential benefits of our approach to aid NCD
research.
- Abstract(参考訳): 本稿では,最先端ニューラルネットワークモデル(NLM)を用いたオープン語彙知識ベース(openKB)の推論タスクと科学文献への応用について述べる。
この目的のために、自己注意に基づくNLMは、ソースタスクとして常識KBを用いて訓練される。
NLMは、最も一般的な慢性疾患(非感染性疾患、NCDとも呼ばれる)に関連する科学的知識を含むオープン語彙推論タスクのターゲットKBでテストされる。
本研究は,ソースタスクとターゲットタスクの知識推論において,一貫して,かつ有意な性能を持つnlmを同定した。
さらに,検査による分析では,モデルが学習した意味的正則性と推論能力について検討し,ncd研究を支援するアプローチの潜在的メリットについて,最初の知見を示した。
関連論文リスト
- Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。
CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。
KnowReasonで広範な実験を行う。
論文 参考訳(メタデータ) (2024-06-30T10:49:32Z) - IRCAN: Mitigating Knowledge Conflicts in LLM Generation via Identifying and Reweighting Context-Aware Neurons [35.932259793728]
近年の研究では、大規模言語モデル(LLM)生成における知識衝突が明らかにされている。
我々は、文脈的手がかりの処理に不可欠なニューロンを活かすための新しいフレームワークIRCANを提案する。
そこで我々は, LLM を利用してコンテキストに付与された新しい知識に対して, 文脈に敏感な出力を生成する。
論文 参考訳(メタデータ) (2024-06-26T14:57:38Z) - Analyzing Key Neurons in Large Language Models [14.69046890281591]
大規模言語モデル (LLM) はそのパラメータ内で膨大な量の知識を保有しており、この知識を探索し、編集する手法の研究を促す。
本稿では,LLMのキーニューロンを識別できるアーキテクチャに依存しない新しいフレームワークであるNeuron-Inverse Cluster Attribution (NA-ICA)を紹介する。
論文 参考訳(メタデータ) (2024-06-16T09:36:32Z) - Exploring the Cognitive Knowledge Structure of Large Language Models: An
Educational Diagnostic Assessment Approach [50.125704610228254]
大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。
近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。
ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
論文 参考訳(メタデータ) (2023-10-12T09:55:45Z) - Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳(メタデータ) (2023-06-04T15:44:51Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳(メタデータ) (2023-05-15T15:47:09Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳(メタデータ) (2022-11-11T04:29:02Z) - Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。
このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。
特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
論文 参考訳(メタデータ) (2021-10-15T21:58:03Z) - Integration of Domain Knowledge using Medical Knowledge Graph Deep
Learning for Cancer Phenotyping [6.077023952306772]
本稿では,医学用語からの外部知識を単語埋め込みによって捉えた文脈に統合する手法を提案する。
提案手法は,Multitask Convolutional Neural Network (MT-CNN) を用いて,900Kの癌病理所見のデータセットから6つのがん特性を抽出する。
論文 参考訳(メタデータ) (2021-01-05T03:59:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。