論文の概要: Language Model Analysis for Ontology Subsumption Inference
- arxiv url: http://arxiv.org/abs/2302.06761v1
- Date: Tue, 14 Feb 2023 00:21:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-15 16:37:09.543916
- Title: Language Model Analysis for Ontology Subsumption Inference
- Title(参考訳): オントロジー推定のための言語モデル解析
- Authors: Yuan He, Jiaoyan Chen, Ernesto Jim\'enez-Ruiz, Hang Dong, Ian Horrocks
- Abstract要約: 我々は,従来の自然言語推論 (NLI) よりも,仮定推論 (SI) の背景知識が比較的少ないことを示す。
コードとデータセットをオープンソースにします。
- 参考スコア(独自算出の注目度): 37.00562636991463
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-trained language models (LMs) have made significant advances in various
Natural Language Processing (NLP) domains, but it is unclear to what extent
they can infer formal semantics in ontologies, which are often used to
represent conceptual knowledge and serve as the schema of data graphs. To
investigate an LM's knowledge of ontologies, we propose OntoLAMA, a set of
inference-based probing tasks and datasets from ontology subsumption axioms
involving both atomic and complex concepts. We conduct extensive experiments on
ontologies of different domains and scales, and our results demonstrate that
LMs encode relatively less background knowledge of Subsumption Inference (SI)
than traditional Natural Language Inference (NLI) but can improve on SI
significantly when a small number of samples are given. We will open-source our
code and datasets.
- Abstract(参考訳): 事前学習された言語モデル(LM)は、様々な自然言語処理(NLP)ドメインにおいて大きな進歩を遂げてきたが、概念知識の表現やデータグラフのスキーマとして用いられるオントロジーにおける形式的意味論の推測がどの程度可能かは定かではない。
LMのオントロジーに関する知識を調べるために,原子と複雑な概念の両方を含むオントロジーの仮定に基づく探索タスクとデータセットのセットであるOntoLAMAを提案する。
我々は,異なる領域やスケールのオントロジーに関する広範な実験を行い,本研究の結果は,従来の自然言語推論 (NLI) よりも,仮定推論 (SI) の背景知識が比較的少ないが,少数のサンプルが与えられた場合に,SIを著しく改善できることを示した。
コードとデータセットをオープンソースにします。
関連論文リスト
- LLM Inference Unveiled: Survey and Roofline Model Insights [64.33702161898469]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Quantitative knowledge retrieval from large language models [4.155711233354597]
大規模言語モデル(LLM)は、説得力のある自然言語配列を生成する能力について広く研究されている。
本稿では,データ解析作業を支援するための定量的知識検索のメカニズムとして,LLMの実現可能性について検討する。
論文 参考訳(メタデータ) (2024-02-12T16:32:37Z) - Discovery of the Hidden World with Large Language Models [100.38157787218044]
COAT: Causal representatiOn AssistanTについて紹介する。
COATは、非構造化データから潜在的な因果因子を抽出する因子プロジェクタとしてLLMを組み込んでいる。
LLMはデータ値の収集に使用される追加情報を提供するよう指示することもできる。
論文 参考訳(メタデータ) (2024-02-06T12:18:54Z) - Evaluating Neural Language Models as Cognitive Models of Language
Acquisition [4.779196219827507]
我々は、ニューラルネットワークモデルの構文能力を評価するための最も顕著なベンチマークは、十分に厳密でないかもしれないと論じる。
小規模データモデリングによる子言語習得を訓練すると、LMは単純なベースラインモデルで容易にマッチングできる。
子どもの言語習得に関する実証的研究と、LMをよりよく結びつけるための提案をまとめて締めくくった。
論文 参考訳(メタデータ) (2023-10-31T00:16:17Z) - Generative retrieval-augmented ontologic graph and multi-agent
strategies for interpretive large language model-based materials design [0.0]
トランスフォーマーニューラルネットワークは、特に材料分析、設計、製造において、有望な能力を示す。
本稿では,教材の工学的分析を支援するツールとして,大規模言語モデル(LLM)の利用について検討する。
論文 参考訳(メタデータ) (2023-10-30T20:31:50Z) - Exploring the Cognitive Knowledge Structure of Large Language Models: An
Educational Diagnostic Assessment Approach [50.125704610228254]
大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。
近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。
ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
論文 参考訳(メタデータ) (2023-10-12T09:55:45Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical
Reasoning Capabilities of Language Models [58.76688462256284]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
一つのタスクトレーニング,複数タスクトレーニング,および思考知識の蒸留微調整手法の連鎖について検討し,異なる論理的推論カテゴリにおけるモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Data Distribution Bottlenecks in Grounding Language Models to Knowledge
Bases [9.610231090476857]
言語モデル(LM)は、自然言語と形式言語の両方を理解し、生成する際、すでに顕著な能力を示している。
本論文は,知識ベース質問応答(KBQA)を課題として,LMが直面する課題を明らかにすることを目的とした実験的研究である。
実験の結果,提案手法を応用しても,様々な次元において,先進的な小・大規模言語モデルの性能が低下していることが判明した。
論文 参考訳(メタデータ) (2023-09-15T12:06:45Z) - Information Extraction in Low-Resource Scenarios: Survey and Perspective [60.67550275379953]
情報抽出は構造化されていないテキストから構造化された情報を導き出そうとする。
本稿では,emphLLMおよびemphLLMに基づく低リソースIEに対するニューラルアプローチについて概説する。
論文 参考訳(メタデータ) (2022-02-16T13:44:00Z) - Language Models as Knowledge Bases: On Entity Representations, Storage
Capacity, and Paraphrased Queries [35.57443199012129]
事前訓練された言語モデルは、構造化された知識ベースに対する代替または補完として提案されている。
ここでは、LMをKBとして扱うための2つの基本的な要件を定式化する。
我々は、LMが数百万のエンティティを表現できる3つのエンティティ表現を探索し、LMにおける世界知識のパラフレーズクエリに関する詳細なケーススタディを示す。
論文 参考訳(メタデータ) (2020-08-20T15:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。