論文の概要: Reasoning about concepts with LLMs: Inconsistencies abound

• arxiv url: http://arxiv.org/abs/2405.20163v1
• Date: Thu, 30 May 2024 15:38:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 13:39:08.985251
• Title: Reasoning about concepts with LLMs: Inconsistencies abound
• Title（参考訳）: LLMの概念に関する推論:矛盾が多々ある
• Authors: Rosario Uceda-Sosa, Karthikeyan Natesan Ramamurthy, Maria Chang, Moninder Singh,
• Abstract要約: 大きな言語モデル(LLM)は、しばしばその知識に重大な矛盾を示し、示す。 特に,多種多種多種多種多様のLCMの軽量化を図り,その性能を著しく向上させることができた。
• 参考スコア（独自算出の注目度）: 13.042591838719936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to summarize and organize knowledge into abstract concepts is key to learning and reasoning. Many industrial applications rely on the consistent and systematic use of concepts, especially when dealing with decision-critical knowledge. However, we demonstrate that, when methodically questioned, large language models (LLMs) often display and demonstrate significant inconsistencies in their knowledge. Computationally, the basic aspects of the conceptualization of a given domain can be represented as Is-A hierarchies in a knowledge graph (KG) or ontology, together with a few properties or axioms that enable straightforward reasoning. We show that even simple ontologies can be used to reveal conceptual inconsistencies across several LLMs. We also propose strategies that domain experts can use to evaluate and improve the coverage of key domain concepts in LLMs of various sizes. In particular, we have been able to significantly enhance the performance of LLMs of various sizes with openly available weights using simple knowledge-graph (KG) based prompting strategies.
• Abstract（参考訳）: 知識を抽象的な概念にまとめ、整理する能力は、学習と推論の鍵となる。 多くの産業アプリケーションは、特に決定クリティカルな知識を扱う際に、一貫した、体系的な概念の使用に依存している。 しかし,大規模言語モデル(LLM)は,体系的に疑問を呈する場合には,その知識に重大な矛盾をしばしば示し示す。 計算学的には、与えられた領域の概念化の基本的な側面は知識グラフ(KG)やオントロジーのIs-A階層として表すことができ、またいくつかの性質や公理も容易に推論できる。 単純なオントロジーでも,複数のLSMにまたがる概念的矛盾を明らかにすることができることを示す。 また,様々な規模のLLMにおいて,ドメインエキスパートが重要なドメイン概念のカバレッジを評価・改善するために利用できる戦略を提案する。 特に,簡単な知識グラフ(KG)に基づくプロンプト戦略を用いて,様々な大きさのLCMの性能を大幅に向上させることができた。

関連論文リスト

• CLR-Fact: Evaluating the Complex Logical Reasoning Capability of Large Language Models over Factual Knowledge [44.59258397967782]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる印象的な機能を示している。 本稿では,LLMの複雑な論理的推論能力の体系的評価について述べる。 LLMは一般世界の知識の推論に優れるが、専門分野固有の知識では重大な課題に直面している。
  論文  参考訳（メタデータ） (2024-07-30T05:40:32Z)
• Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
  大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。 算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。 強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
  論文  参考訳（メタデータ） (2024-06-19T23:30:01Z)
• Empowering Small-Scale Knowledge Graphs: A Strategy of Leveraging General-Purpose Knowledge Graphs for Enriched Embeddings [3.7759315989669058]
  汎用KGを用いた小規模ドメイン固有知識グラフの埋め込みを充実させるフレームワークを提案する。 実験では、Hits@10測定値で最大44%の上昇が観測された。 この比較的探索されていない研究方向は、知識集約的なタスクにおいて、KGのより頻繁な取り込みを触媒することができる。
  論文  参考訳（メタデータ） (2024-05-17T12:46:23Z)
• Exploring Concept Depth: How Large Language Models Acquire Knowledge at Different Layers? [57.04803703952721]
  大規模言語モデル(LLM)は、幅広いタスクで顕著なパフォーマンスを示している。 しかし、これらのモデルが様々な複雑さのタスクを符号化するメカニズムは、いまだに理解されていない。 我々は、より複雑な概念が一般的により深い層で取得されることを示すために、概念深さの概念を紹介します。
  論文  参考訳（メタデータ） (2024-04-10T14:56:40Z)
• Automate Knowledge Concept Tagging on Math Questions with LLMs [48.5585921817745]
  知識概念のタグ付けは、現代の知的教育応用において重要な役割を担っている。 伝統的に、これらの注釈は教育専門家の助けを借りて手作業で行われてきた。 本稿では,Large Language Models (LLM) を用いたタグ付けタスクの自動化について検討する。
  論文  参考訳（メタデータ） (2024-03-26T00:09:38Z)
• From Understanding to Utilization: A Survey on Explainability for Large Language Models [27.295767173801426]
  この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。 主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。 説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
  論文  参考訳（メタデータ） (2024-01-23T16:09:53Z)
• A Principled Framework for Knowledge-enhanced Large Language Model [58.1536118111993]
  大規模言語モデル(LLM)は汎用性があるが、深い信頼性のある推論を必要とするタスクに悩まされることが多い。 本稿では、知識を効果的に固定し、閉ループ推論プロセスを用いるLLMを作成するための厳密な設計のフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-18T18:10:02Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• A Probabilistic-Logic based Commonsense Representation Framework for Modelling Inferences with Multiple Antecedents and Varying Likelihoods [5.87677276882675]
  コモンセンス・ナレッジグラフ(英: Commonsense knowledge-graphs、CKG)は、テキストや環境入力で「推論」でき、知覚を超えた推論ができる機械を構築するための重要なリソースである。 本研究は,コモンセンス知識の表現方法として, (i) 複合的推論知識をモデル化し,様々な可能性で概念的信念を表現するための確率論的論理表現スキーム, (ii) 健全な概念関連関係を同定し,異なる概念レベルで信念を整理する階層的概念オントロジーを取り入れることにより, コモンセンス知識をより良く表現することができるかを検討する。
  論文  参考訳（メタデータ） (2022-11-30T08:44:30Z)
• COPEN: Probing Conceptual Knowledge in Pre-trained Language Models [60.10147136876669]
  概念的知識は人間の認知と知識基盤の基本である。 既存の知識探索作業は、事前訓練された言語モデル(PLM)の事実知識のみに焦点を当て、概念知識を無視する。 PLMが概念的類似性によってエンティティを編成し、概念的特性を学習し、コンテキスト内でエンティティを概念化するかどうかを調査する3つのタスクを設計する。 タスクのために、393のコンセプトをカバーする24kのデータインスタンスを収集、注釈付けします。
  論文  参考訳（メタデータ） (2022-11-08T08:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。