論文の概要: Do LLMs Really Adapt to Domains? An Ontology Learning Perspective

• arxiv url: http://arxiv.org/abs/2407.19998v1
• Date: Mon, 29 Jul 2024 13:29:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 13:34:43.375517
• Title: Do LLMs Really Adapt to Domains? An Ontology Learning Perspective
• Title（参考訳）: LLMはドメインに本当に適応しているか?オントロジー学習の視点から
• Authors: Huu Tan Mai, Cuong Xuan Chu, Heiko Paulheim,
• Abstract要約: 大規模言語モデル(LLM)は、様々なアプリケーション領域において、様々な自然言語処理タスクに対して前例のない進歩を見せている。 近年の研究では、LLMが知識ベースコンプリート(KBC)やオントロジー学習(OL)などの語彙意味タスクに活用できることが示されている。 LLMは本当にドメインに適応し、構造化知識の抽出に一貫性を持ち続けるのか、それとも推論の代わりに語彙感覚のみを学ぶのか?
• 参考スコア（独自算出の注目度）: 2.0755366440393743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated unprecedented prowess across various natural language processing tasks in various application domains. Recent studies show that LLMs can be leveraged to perform lexical semantic tasks, such as Knowledge Base Completion (KBC) or Ontology Learning (OL). However, it has not effectively been verified whether their success is due to their ability to reason over unstructured or semi-structured data, or their effective learning of linguistic patterns and senses alone. This unresolved question is particularly crucial when dealing with domain-specific data, where the lexical senses and their meaning can completely differ from what a LLM has learned during its training stage. This paper investigates the following question: Do LLMs really adapt to domains and remain consistent in the extraction of structured knowledge, or do they only learn lexical senses instead of reasoning? To answer this question and, we devise a controlled experiment setup that uses WordNet to synthesize parallel corpora, with English and gibberish terms. We examine the differences in the outputs of LLMs for each corpus in two OL tasks: relation extraction and taxonomy discovery. Empirical results show that, while adapting to the gibberish corpora, off-the-shelf LLMs do not consistently reason over semantic relationships between concepts, and instead leverage senses and their frame. However, fine-tuning improves the performance of LLMs on lexical semantic tasks even when the domain-specific terms are arbitrary and unseen during pre-training, hinting at the applicability of pre-trained LLMs for OL.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なアプリケーション領域において、様々な自然言語処理タスクに対して前例のない進歩を見せている。 近年の研究では、LLMは知識ベースコンプリート(KBC)やオントロジー学習(OL)といった語彙意味的なタスクに活用できることが示されている。 しかし、その成功は、構造化されていないデータや半構造化されていないデータを推論する能力によるものなのか、言語パターンや感覚のみの効果的な学習によるものなのかは、効果的に検証されていない。 ドメイン固有のデータを扱う際には、この未解決の問題は特に重要であり、語彙感覚とその意味は、LLMがトレーニング段階で学んだこととは全く異なる。 LLMはドメインに順応し、構造化知識の抽出に一貫性を持ち続けるのか、それとも推論の代わりに語彙感覚のみを学ぶのか? この疑問に答え,WordNet を用いて並列コーパスを英語とジンベリ語で合成する制御実験装置を考案した。 本研究では,2つのOLタスク(関係抽出と分類学発見)において,各コーパスに対するLLMの出力の差異について検討する。 実証的な結果は、ジブベリのコーパスに適応しながらも、既成のLLMは概念間の意味的関係を常に推論せず、その代わりに感覚とフレームを活用することを示している。 しかし、微調整により、事前学習中にドメイン固有の用語が任意で見えない場合でも、語彙意味タスクにおけるLLMの性能が向上し、OLのための事前学習LLMの適用性が示唆される。

関連論文リスト

• RuAG: Learned-rule-augmented Generation for Large Language Models [62.64389390179651]
  本稿では,大量のオフラインデータを解釈可能な一階述語論理規則に自動抽出する新しいフレームワーク,RuAGを提案する。 我々は,自然言語処理,時系列,意思決定,産業タスクなど,公共および民間の産業タスクに関する枠組みを評価する。
  論文  参考訳（メタデータ） (2024-11-04T00:01:34Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 パフォーマンスギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• LLMs' Understanding of Natural Language Revealed [0.0]
  大規模言語モデル(LLM)は、大規模言語におけるボトムアップ、データ駆動のリバースエンジニアリングにおける大規模な実験の結果である。 私たちはLLMの言語理解能力、彼らが想定する砦をテストすることに重点を置きます。
  論文  参考訳（メタデータ） (2024-07-29T01:21:11Z)
• Potential and Limitations of LLMs in Capturing Structured Semantics: A Case Study on SRL [78.80673954827773]
  大きな言語モデル(LLM)は、言語理解を高め、解釈可能性を改善し、バイアスを減らすために構造化セマンティクスをキャプチャする上で重要な役割を果たす。 セマンティック・ロール・ラベルリング(SRL)を,構造化意味論を抽出するLLMの能力を探るための基本課題として用いることを提案する。 LLMは実際にセマンティック構造をキャプチャすることができ、スケールアップは常にポテンシャルを反映するわけではない。 エラーのかなりの重複は、LLMと訓練されていない人間の両方によって行われ、全てのエラーの約30%を占めることに私たちは驚いています。
  論文  参考訳（メタデータ） (2024-05-10T11:44:05Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Limits for Learning with Language Models [4.20859414811553]
  大規模言語モデル(LLM)がボレル階層の第一段階を超えて概念を学習できないことを示す。 LLMは、細部と深い言語的理解を必要とするタスクについて、正式な保証なしに運用を続ける。
  論文  参考訳（メタデータ） (2023-06-21T12:11:31Z)
• Translating Natural Language to Planning Goals with Large-Language Models [19.738395237639136]
  近年の大規模言語モデル(LLM)は,様々な自然言語処理(NLP)タスクにおいて顕著な性能を示した。 我々の中心的な問題は、LLMが自然言語で指定された目標を構造化された計画言語に翻訳できるかどうかである。 GPT 3.5 変種に対する実験結果から,LCM は計画よりも翻訳に適していることが示された。
  論文  参考訳（メタデータ） (2023-02-10T09:17:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。