論文の概要: A Language Model based Framework for New Concept Placement in Ontologies
- arxiv url: http://arxiv.org/abs/2402.17897v1
- Date: Tue, 27 Feb 2024 21:27:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 17:04:39.166615
- Title: A Language Model based Framework for New Concept Placement in Ontologies
- Title(参考訳): オントロジーにおける新しい概念配置のための言語モデルに基づくフレームワーク
- Authors: Hang Dong, Jiaoyan Chen, Yuan He, Yongsheng Gao, Ian Horrocks
- Abstract要約: 言語モデルを用いて,テキストから抽出した概念をオントロジーに挿入する作業について検討する。
本稿では,埋め込み型手法とコントラスト学習を応用したニューラルネットワーク手法を提案する。
SNOMED CTとMedMentionsエンティティリンクベンチマークを用いて作成した最近のデータセットの手法を評価する。
- 参考スコア(独自算出の注目度): 33.31096456574208
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We investigate the task of inserting new concepts extracted from texts into
an ontology using language models. We explore an approach with three steps:
edge search which is to find a set of candidate locations to insert (i.e.,
subsumptions between concepts), edge formation and enrichment which leverages
the ontological structure to produce and enhance the edge candidates, and edge
selection which eventually locates the edge to be placed into. In all steps, we
propose to leverage neural methods, where we apply embedding-based methods and
contrastive learning with Pre-trained Language Models (PLMs) such as BERT for
edge search, and adapt a BERT fine-tuning-based multi-label Edge-Cross-encoder,
and Large Language Models (LLMs) such as GPT series, FLAN-T5, and Llama 2, for
edge selection. We evaluate the methods on recent datasets created using the
SNOMED CT ontology and the MedMentions entity linking benchmark. The best
settings in our framework use fine-tuned PLM for search and a multi-label
Cross-encoder for selection. Zero-shot prompting of LLMs is still not adequate
for the task, and we proposed explainable instruction tuning of LLMs for
improved performance. Our study shows the advantages of PLMs and highlights the
encouraging performance of LLMs that motivates future studies.
- Abstract(参考訳): 言語モデルを用いて,テキストから抽出した新たな概念をオントロジーに挿入する作業について検討する。
エッジ探索(edge search)は、挿入する候補位置(つまり概念間の仮定)を見つけること、エッジ形成とエンリッチメント(edge formation and enrichment)は、オントロジ構造を利用してエッジ候補を生成して拡張すること、エッジを最終的に配置するエッジ選択(edge selection)である。
あらゆるステップにおいて、我々は、エッジサーチにBERTのような埋め込みベースの手法や、事前学習された言語モデル(PLM)を応用し、GPTシリーズ、FLAN-T5、Llama 2などの大規模言語モデル(LLM)とBERTファインタニングベースのマルチラベルエッジ-クロスエンコーダを適応するニューラルネットワーク手法を提案する。
SNOMED CTオントロジーとMedMentionsエンティティリンクベンチマークを用いて,最近のデータセットの手法を評価する。
私たちのフレームワークの最良の設定は、検索にplmを微調整し、選択にマルチラベルクロスエンコーダを使用します。
LLMのゼロショットプロンプトは、まだそのタスクには不十分であり、性能向上のための説明可能なLLMのインストラクションチューニングを提案する。
本研究はPLMの利点を示し,今後の研究を動機づけるPLMの促進性能を強調した。
関連論文リスト
- CALRec: Contrastive Alignment of Generative LLMs For Sequential Recommendation [18.986613405565514]
本稿では,2段階のLLMファインタニングフレームワークを提案する。
我々のモデルは、多くの最先端のベースラインを著しく上回ります。
論文 参考訳(メタデータ) (2024-05-03T18:51:19Z) - LLM-Seg: Bridging Image Segmentation and Large Language Model Reasoning [8.379286663107845]
セグメンテーション(Reasoning segmentation)は、セグメンテーションシステムが暗黙のユーザ意図を推論し解釈することを可能にする新しいタスクである。
推論セグメンテーションに関する研究は、方法論設計とデータセットラベリングの両方に寄与する。
論文 参考訳(メタデータ) (2024-04-12T18:45:51Z) - Training Machine Learning models at the Edge: A Survey [2.8449839307925955]
この調査はエッジ学習(EL)、特にエッジでの機械学習モデルトレーニングの最適化に重点を置いている。
目的は、ELにおける多様なアプローチや方法論を包括的に探求し、既存の知識を合成し、課題を特定し、将来の動向を明らかにすることである。
この調査はさらに、エッジ学習のためにMLを最適化するために使用されるテクニックを比較するためのガイドラインと、ELで利用可能なさまざまなフレームワーク、ライブラリ、シミュレーションツールの探索を提供する。
論文 参考訳(メタデータ) (2024-03-05T03:18:43Z) - Meta-Task Prompting Elicits Embedding from Large Language Models [57.50329659098592]
本稿では,新しい教師なし埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを提案する。
モデル微調整やタスク固有のエンジニアリングを必要とせずに、大規模言語モデルから高品質な文の埋め込みを生成する。
実験により, 各種メタタスクから平均化された埋め込みは, セマンティックテキスト類似度ベンチマーク上での競合性能を示すことを示した。
本研究は, 埋込抽出のための多用途, 資源効率のよい手法を提供する, 埋込生成のための新しいスケーリング法則を示唆する。
論文 参考訳(メタデータ) (2024-02-28T16:35:52Z) - Large Language Models as Topological Structure Enhancers for
Text-Attributed Graphs [4.90251248691462]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。
本研究では,LLMの情報検索とテキスト生成機能を活用して,ノード分類設定の下でのテキスト分散グラフ(TAG)のトポロジ構造を洗練・強化する方法について検討する。
論文 参考訳(メタデータ) (2023-11-24T07:53:48Z) - Speak Like a Native: Prompting Large Language Models in a Native Style [53.84738665918496]
In-context Learning (ICL) with large language model (LLMs) は、多くの自然言語処理タスクにおいて近代的なツールとなっている。
本稿では, LLMの推論能力を向上させるために, textbfAlignedCoT という新しい効果的手法を提案する。
数学的質問答え、常識的推論、テキスト理解に関するいくつかのベンチマークにおいて、広範囲かつ包括的な実験を行う。
論文 参考訳(メタデータ) (2023-11-22T17:24:21Z) - Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。
提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。
モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
論文 参考訳(メタデータ) (2023-07-31T13:26:03Z) - Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。
LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文 参考訳(メタデータ) (2023-02-22T17:44:15Z) - Improving Meta-learning for Low-resource Text Classification and
Generation via Memory Imitation [87.98063273826702]
本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。
本手法の有効性を証明するために理論的解析を行った。
論文 参考訳(メタデータ) (2022-03-22T12:41:55Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳(メタデータ) (2021-09-09T12:32:28Z) - Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。
マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文 参考訳(メタデータ) (2020-04-12T09:05:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。