論文の概要: Are Large Language Models a Good Replacement of Taxonomies?

• arxiv url: http://arxiv.org/abs/2406.11131v2
• Date: Thu, 20 Jun 2024 08:01:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 01:07:15.353374
• Title: Are Large Language Models a Good Replacement of Taxonomies?
• Title（参考訳）: 大規模言語モデルは分類学のよい置き換えか?
• Authors: Yushi Sun, Hao Xin, Kai Sun, Yifan Ethan Xu, Xiao Yang, Xin Luna Dong, Nan Tang, Lei Chen,
• Abstract要約: 大きな言語モデル(LLM)は、知識を内部化し、自然言語の質問に答える素晴らしい能力を示している。 知識グラフのスキーマ(つまり分類学)がLLMによって時代遅れにされているかどうかを問う。
• 参考スコア（独自算出の注目度）: 25.963448807848746
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) demonstrate an impressive ability to internalize knowledge and answer natural language questions. Although previous studies validate that LLMs perform well on general knowledge while presenting poor performance on long-tail nuanced knowledge, the community is still doubtful about whether the traditional knowledge graphs should be replaced by LLMs. In this paper, we ask if the schema of knowledge graph (i.e., taxonomy) is made obsolete by LLMs. Intuitively, LLMs should perform well on common taxonomies and at taxonomy levels that are common to people. Unfortunately, there lacks a comprehensive benchmark that evaluates the LLMs over a wide range of taxonomies from common to specialized domains and at levels from root to leaf so that we can draw a confident conclusion. To narrow the research gap, we constructed a novel taxonomy hierarchical structure discovery benchmark named TaxoGlimpse to evaluate the performance of LLMs over taxonomies. TaxoGlimpse covers ten representative taxonomies from common to specialized domains with in-depth experiments of different levels of entities in this taxonomy from root to leaf. Our comprehensive experiments of eighteen state-of-the-art LLMs under three prompting settings validate that LLMs can still not well capture the knowledge of specialized taxonomies and leaf-level entities.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、知識を内部化し、自然言語の質問に答える素晴らしい能力を示している。 従来の知識グラフがLLMに置き換わるべきかどうかについては,従来の知識グラフがLLMに置き換わるべきかどうか,コミュニティは疑念を抱いている。 本稿では,LLMによって知識グラフのスキーマ(分類学)が時代遅れになるかどうかを問う。 直感的には、LLMは一般的な分類学や人間に共通する分類学レベルでうまく機能すべきである。 残念なことに、LLMを一般的なドメインから特定のドメイン、ルートからリーフまでのレベルまで幅広く評価する包括的なベンチマークが欠けているため、確実な結論が得られます。 研究ギャップを狭めるため,分類学上のLLMの性能を評価するため,TaxoGlimpseという新しい分類階層構造探索ベンチマークを構築した。 TaxoGlimpseは10の代表的な分類体系を網羅し、根から葉まで、この分類学におけるさまざまなレベルの実体の詳細な実験を行っている。 現状のLLM18種の総合的な実験から, LLM18種の分類学的知識を十分に把握できないことが確認された。

関連論文リスト

• Large Language Models as Reliable Knowledge Bases? [60.25969380388974]
  大きな言語モデル(LLM)は潜在的な知識ベース(KB)と見なすことができる。 本研究は、信頼性の高いLLM-as-KBが満たすべき基準を定義し、事実性と一貫性に焦点をあてる。 ICLや微調整のような戦略は、LLMをより良くKBにするには失敗している。
  論文  参考訳（メタデータ） (2024-07-18T15:20:18Z)
• Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
  大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。 我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。 実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-10T15:10:20Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [57.747888532651]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Linguistic Intelligence in Large Language Models for Telecommunications [5.06945923921948]
  自然言語処理(NLP)分野において,Large Language Models (LLMs) が大きな進歩を遂げている。 本研究は,電気通信分野におけるLLMの知識と理解能力を評価することを目的とする。 評価の結果,ゼロショットLLMは現状の細調整モデルに匹敵する性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-02-24T14:01:07Z)
• FLAME: Self-Supervised Low-Resource Taxonomy Expansion using Large Language Models [19.863010475923414]
  タコノミは、eコマース検索エンジンやレコメンデーションシステムなど、様々な現実世界のアプリケーションで実用性を見出す。 伝統的に監督された分類学の拡張アプローチは、限られた資源から生じる困難に遭遇する。 我々は,大規模言語モデルの能力を活用して,低資源環境における分類学拡張のための新しいアプローチであるFLAMEを提案する。
  論文  参考訳（メタデータ） (2024-02-21T08:50:40Z)
• Understanding Survey Paper Taxonomy about Large Language Models via Graph Representation Learning [2.88268082568407]
  我々は,調査論文を分類学に自動的に割り当てる手法を開発した。 本研究は,共分類グラフ上でのグラフ構造情報の活用が言語モデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-16T02:21:59Z)
• Pushing The Limit of LLM Capacity for Text Classification [27.684335455517417]
  本稿では,特殊なテキスト分類 LLM を生成するための適応型ブースティングフレームワーク RGPT を提案する。 RGPTは,4つのベンチマークで平均1.36%,8個のSOTA PLMと7個のSOTA LLMより有意に優れていた。
  論文  参考訳（メタデータ） (2024-02-12T08:14:03Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph [11.808990571175269]
  大規模言語モデル(LLM)は、その強力な自然言語理解とゼロショット能力によって、様々な下流タスクにおいて優れたパフォーマンスを達成しているが、LLMは依然として知識制限に悩まされている。 本稿では,知識グラフから外部知識を効率的に正確に検索し,これらの課題に対処する新しいフレームワークであるKnowledgeNavigatorを提案する。 我々は,複数のKGQAベンチマーク上でKnowledgeNavigatorを評価し,そのフレームワークの有効性と一般化を実証した。
  論文  参考訳（メタデータ） (2023-12-26T04:22:56Z)
• Enabling Large Language Models to Learn from Rules [99.16680531261987]
  私たちは、人間がルールから学習することで、新しいタスクや知識を別の方法で学習できることにインスピレーションを受けています。 まず, LLMの強い文脈内能力を用いて, テキスト規則から知識を抽出する規則蒸留法を提案する。 実験の結果, LLMをルールから学習させることは, サンプルサイズと一般化能力の両方において, サンプルベース学習よりもはるかに効率的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-15T11:42:41Z)
• KoLA: Carefully Benchmarking World Knowledge of Large Language Models [87.96683299084788]
  我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。 人間の認知を模倣して、知識関連能力の4段階の分類を形成し、19ドルのタスクをカバーします。 私たちは、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集された新興コーパスを使用して、目に見えないデータや進化する知識を扱う能力を評価します。
  論文  参考訳（メタデータ） (2023-06-15T17:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。