論文の概要: Towards Ontology-Enhanced Representation Learning for Large Language Models

• arxiv url: http://arxiv.org/abs/2405.20527v1
• Date: Thu, 30 May 2024 23:01:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 16:05:36.894530
• Title: Towards Ontology-Enhanced Representation Learning for Large Language Models
• Title（参考訳）: オントロジーによる大規模言語モデルの表現学習に向けて
• Authors: Francesco Ronzano, Jay Nanavati,
• Abstract要約: 本稿では,知識を参照オントロジーで注入することで,埋め込み言語モデル(埋め込み言語モデル)の関心を高める新しい手法を提案する。 言語情報(概念同義語と記述)と構造情報(is-a関係)は、包括的な概念定義の集合をコンパイルするために使用される。 これらの概念定義は、対照的な学習フレームワークを使用して、ターゲットの埋め込み-LLMを微調整するために使用される。
• 参考スコア（独自算出の注目度）: 0.18416014644193066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Taking advantage of the widespread use of ontologies to organise and harmonize knowledge across several distinct domains, this paper proposes a novel approach to improve an embedding-Large Language Model (embedding-LLM) of interest by infusing the knowledge formalized by a reference ontology: ontological knowledge infusion aims at boosting the ability of the considered LLM to effectively model the knowledge domain described by the infused ontology. The linguistic information (i.e. concept synonyms and descriptions) and structural information (i.e. is-a relations) formalized by the ontology are utilized to compile a comprehensive set of concept definitions, with the assistance of a powerful generative LLM (i.e. GPT-3.5-turbo). These concept definitions are then employed to fine-tune the target embedding-LLM using a contrastive learning framework. To demonstrate and evaluate the proposed approach, we utilize the biomedical disease ontology MONDO. The results show that embedding-LLMs enhanced by ontological disease knowledge exhibit an improved capability to effectively evaluate the similarity of in-domain sentences from biomedical documents mentioning diseases, without compromising their out-of-domain performance.
• Abstract（参考訳）: 本稿では,複数のドメインにまたがる知識の体系化と調和化にオントロジーを広く活用することを利用して,参照オントロジーによって形式化された知識を注入することにより,興味を組み込んだ埋め込み言語モデル(埋め込み-LLM)を改善する新たなアプローチを提案する。 オントロジーによって定式化された言語情報(概念同義語と記述)と構造情報(即ちis-a関係)は、強力な生成LDM(すなわちGPT-3.5-turbo)の助けを借りて包括的な概念定義の集合をコンパイルするために使用される。 これらの概念定義は、対照的な学習フレームワークを使用して、ターゲットの埋め込み-LLMを微調整するために使用される。 提案手法を実証し, 評価するために, 生物医学的疾患オントロジー mondo を用いた。 以上の結果より, 内科的疾患知識により増強された埋め込みLLMは, ドメイン外のパフォーマンスを損なうことなく, 疾患を記載するバイオメディカル文書から, ドメイン内文の類似性を効果的に評価できる可能性が示唆された。

関連論文リスト

• Enhancing Explainability in Multimodal Large Language Models Using Ontological Context [0.0]
  本稿では,植物病のイメージを分類するために,オントロジーとMLLMを組み合わせた新しいフレームワークを提案する。 モデルが病気を記述する概念を正確に使用することを保証することは、ドメイン固有のアプリケーションに不可欠である。 我々のフレームワークは、よく知られたMLLMを用いた実証研究によって支援された、MLLMの相乗化とMLLMの新しい方向性を提供する。
  論文  参考訳（メタデータ） (2024-09-27T13:44:55Z)
• Document-level Clinical Entity and Relation Extraction via Knowledge Base-Guided Generation [0.869967783513041]
  統一医療言語システム(UMLS)の知識ベースを利用して医療概念を正確に識別する。 本フレームワークは、テキストに関連するUMLS概念を選択し、エンティティを抽出する際の言語モデルガイドのプロンプトと組み合わせる。
  論文  参考訳（メタデータ） (2024-07-13T22:45:46Z)
• Knowledge-enhanced Visual-Language Pretraining for Computational Pathology [68.6831438330526]
  本稿では,公共資源から収集した大規模画像テキストペアを利用した視覚的表現学習の課題について考察する。 ヒト32組織から病理診断を必要とする4,718の疾患に対して50,470個の情報属性からなる病理知識ツリーをキュレートする。
  論文  参考訳（メタデータ） (2024-04-15T17:11:25Z)
• MLIP: Enhancing Medical Visual Representation with Divergence Encoder and Knowledge-guided Contrastive Learning [48.97640824497327]
  本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。 我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。 特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
  論文  参考訳（メタデータ） (2024-02-03T05:48:50Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Can Large Language Models Augment a Biomedical Ontology with missing Concepts and Relations? [1.1060425537315088]
  LLMとのセマンティックな相互作用を利用して臨床実践ガイドラインを解析する手法を提案する。 プロンプトを使った最初の実験では、手動で生成された金の標準を与えられた有望な結果が得られました。
  論文  参考訳（メタデータ） (2023-11-12T14:20:55Z)
• Exploring the In-context Learning Ability of Large Language Model for Biomedical Concept Linking [4.8882241537236455]
  本研究では,生物医学的概念リンクのための大規模モデルのコンテキスト内学習機能を活用する手法について検討する。 提案手法は2段階のレトリーブ・アンド・ランク・フレームワークを採用する。 BC5CDRの病体正規化では90.%、化学体正規化では94.7%の精度を達成した。
  論文  参考訳（メタデータ） (2023-07-03T16:19:50Z)
• EBOCA: Evidences for BiOmedical Concepts Association Ontology [55.41644538483948]
  本論文は,生物医学領域の概念とそれらの関連性を記述するオントロジーであるEBOCAと,それらの関連性を支持するエビデンスを提案する。 DISNETのサブセットから得られるテストデータとテキストからの自動アソシエーション抽出が変換され、実際のシナリオで使用できる知識グラフが作成されるようになった。
  論文  参考訳（メタデータ） (2022-08-01T18:47:03Z)
• A Meta-embedding-based Ensemble Approach for ICD Coding Prediction [64.42386426730695]
  国際疾病分類 (icd) は、世界中で臨床コーディングに使われているデファクトコードである。 これらのコードにより、医療提供者は償還を請求し、診断情報の効率的な保管と検索を容易にします。 提案手法は,日常的な医学データと科学論文の外部知識を用いて,効果的に単語ベクトルを訓練することにより,神経モデルの性能を高める。
  論文  参考訳（メタデータ） (2021-02-26T17:49:58Z)
• UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus [73.86656026386038]
  事前学習プロセス中にドメイン知識を統合するコンテキスト埋め込みモデルであるUmlsBERTを紹介する。 これらの2つの戦略を適用することで、UmlsBERTは、臨床領域の知識を単語埋め込みにエンコードし、既存のドメイン固有モデルより優れている。
  論文  参考訳（メタデータ） (2020-10-20T15:56:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。