論文の概要: Common Sense Knowledge Learning for Open Vocabulary Neural Reasoning: A First View into Chronic Disease Literature

• arxiv url: http://arxiv.org/abs/2111.13781v1
• Date: Sat, 27 Nov 2021 00:21:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 14:55:20.381674
• Title: Common Sense Knowledge Learning for Open Vocabulary Neural Reasoning: A First View into Chronic Disease Literature
• Title（参考訳）: オープンボキャブラリニューラル推論のための常識知識学習 : 慢性疾患文学への第一歩
• Authors: Ignacio Arroyo-Fern\'andez, Jos\'e Armando S\'anchez-Rojas, Arturo Tellez-Vel\'azquez, Flavio Ju\'arez-Mart\'inez, Ra\'ul Cruz-Barbosa, Enrique Guzm\'an-Ram\'irez, Yalbi Itzel Balderas-Mart\'inez
• Abstract要約: 我々は、最先端ニューラルネットワークモデル(NLM)を用いたオープン語彙知識ベース(openKB)からの推論タスクに対処する。 その結果,NLMは,ソースタスクとターゲットタスクの両方において,一貫した,かつ重要な知識推論を行うことができた。
• 参考スコア（独自算出の注目度）: 1.4615254965614237
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we address reasoning tasks from open vocabulary Knowledge Bases (openKBs) using state-of-the-art Neural Language Models (NLMs) with applications in scientific literature. For this purpose, self-attention based NLMs are trained using a common sense KB as a source task. The NLMs are then tested on a target KB for open vocabulary reasoning tasks involving scientific knowledge related to the most prevalent chronic diseases (also known as non-communicable diseases, NCDs). Our results identified NLMs that performed consistently and with significance in knowledge inference for both source and target tasks. Furthermore, in our analysis by inspection we discussed the semantic regularities and reasoning capabilities learned by the models, while showing a first insight into the potential benefits of our approach to aid NCD research.
• Abstract（参考訳）: 本稿では,最先端ニューラルネットワークモデル(NLM)を用いたオープン語彙知識ベース(openKB)の推論タスクと科学文献への応用について述べる。 この目的のために、自己注意に基づくNLMは、ソースタスクとして常識KBを用いて訓練される。 NLMは、最も一般的な慢性疾患(非感染性疾患、NCDとも呼ばれる)に関連する科学的知識を含むオープン語彙推論タスクのターゲットKBでテストされる。 本研究は,ソースタスクとターゲットタスクの知識推論において,一貫して,かつ有意な性能を持つnlmを同定した。 さらに,検査による分析では,モデルが学習した意味的正則性と推論能力について検討し,ncd研究を支援するアプローチの潜在的メリットについて,最初の知見を示した。

関連論文リスト

• LINKED: Eliciting, Filtering and Integrating Knowledge in Large Language Model for Commonsense Reasoning [21.12539851761666]
  大規模言語モデル(LLM)は、知識集約的なタスクにおけるパフォーマンスの低下を示すことがある。 大規模言語モデル(LINKED)における知識の抽出,フィルタリング,統合という新しい手法を提案する。 2つの複雑なコモンセンス推論ベンチマークに関する総合的な実験により、我々の手法はSOTAベースライン(最大9.0%の精度向上)を上回った。
  論文  参考訳（メタデータ） (2024-10-12T14:12:22Z)
• Diagnostic Reasoning in Natural Language: Computational Model and Application [68.47402386668846]
  言語基底タスク(NL-DAR)の文脈における診断誘導推論(DAR)について検討する。 パール構造因果モデルに基づくNL-DARの新しいモデリングフレームワークを提案する。 得られたデータセットを用いて,NL-DARにおける人間の意思決定過程を解析する。
  論文  参考訳（メタデータ） (2024-09-09T06:55:37Z)
• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [70.3132264719438]
  我々は,タスクや言語間でニューロンの活性化がどのように共有されるかを調べることで,研究ギャップを埋めることを目指している。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。 分析の結果, (i) ニューロン共有のパターンはタスクや例の特徴に大きく影響され, (ii) ニューロン共有は言語類似性に完全には対応しない, (iii) 共有ニューロンは応答の生成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• Natural Language Processing with Commonsense Knowledge: A Survey [9.634283896785611]
  本稿では,様々なNLPタスクへのコモンセンス知識の統合について検討する。 我々は、異なるNLPタスクにまたがるコモンセンス知識とその応用を組み込むための重要な方法論を強調した。 また,コモンセンス推論を用いたNLPシステムの高度化における課題と動向について検討した。
  論文  参考訳（メタデータ） (2021-08-10T13:25:29Z)
• Integration of Domain Knowledge using Medical Knowledge Graph Deep Learning for Cancer Phenotyping [6.077023952306772]
  本稿では,医学用語からの外部知識を単語埋め込みによって捉えた文脈に統合する手法を提案する。 提案手法は,Multitask Convolutional Neural Network (MT-CNN) を用いて,900Kの癌病理所見のデータセットから6つのがん特性を抽出する。
  論文  参考訳（メタデータ） (2021-01-05T03:59:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。