論文の概要: Enabling LLM Knowledge Analysis via Extensive Materialization

• arxiv url: http://arxiv.org/abs/2411.04920v4
• Date: Wed, 04 Jun 2025 10:58:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 18:52:34.891104
• Title: Enabling LLM Knowledge Analysis via Extensive Materialization
• Title（参考訳）: 大規模物質化によるLLM知識分析の実践
• Authors: Yujia Hu, Tuan-Phong Nguyen, Shrestha Ghosh, Simon Razniewski,
• Abstract要約: GPTKBは、GPT-4o-miniという290万以上のエンティティに対して101万トリプルの知識ベースである。 我々は、GPTKBを用いて、GPT-4o-miniの事実知識を、スケール、精度、バイアス、一貫性の観点から内部的に分析する。
• 参考スコア（独自算出の注目度）: 15.276041443299905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have majorly advanced NLP and AI, and next to their ability to perform a wide range of procedural tasks, a major success factor is their internalized factual knowledge. Since Petroni et al. (2019), analyzing this knowledge has gained attention. However, most approaches investigate one question at a time via modest-sized pre-defined samples, introducing an ``availability bias'' (Tversky&Kahnemann, 1973) that prevents the analysis of knowledge (or beliefs) of LLMs beyond the experimenter's predisposition. To address this challenge, we propose a novel methodology to comprehensively materialize an LLM's factual knowledge through recursive querying and result consolidation. Our approach is a milestone for LLM research, for the first time providing constructive insights into the scope and structure of LLM knowledge (or beliefs). As a prototype, we build GPTKB, a knowledge base (KB) comprising 101 million relational triples for over 2.9 million entities from GPT-4o-mini. We use GPTKB to exemplarily analyze GPT-4o-mini's factual knowledge in terms of scale, accuracy, bias, cutoff and consistency, at the same time. GPTKB is accessible at https://gptkb.org
• Abstract（参考訳）: 大規模言語モデル(LLM)は、大きく進歩したNLPとAIを持ち、広範囲の手続き的なタスクを実行する能力の隣で、主要な成功要因は、内部化された事実知識である。 Petroni et al (2019) 以降、この知識の分析が注目されている。 しかしながら、ほとんどのアプローチは、モデストサイズの事前定義されたサンプルを通して一度に1つの質問を調査し、実験者の前提を超えた LLM の知識(または信念)の分析を妨げる 'availability bias'' (Tversky&Kahnemann, 1973) を導入する。 この課題に対処するために,再帰的なクエリと結果の集約によってLLMの事実知識を包括的に具現化する手法を提案する。 我々のアプローチはLLM研究のマイルストーンであり、LLM知識(または信念)のスコープと構造に関する建設的な洞察を初めて提供する。 プロトタイプとして、GPT-4o-miniから290万以上のエンティティに対して、10100万のリレーショナルトリプルからなるナレッジベース(KB)であるGPTKBを構築します。 我々は、GPTKBを用いて、GPT-4o-miniの実際の知識を、スケール、精度、バイアス、カットオフ、一貫性の点で、同時に分析する。 GPTKBはhttps://gptkb.org

関連論文リスト

• A Comprehensive Analysis on LLM-based Node Classification Algorithms [21.120619437937382]
  我々はLarge Language Models (LLMs) を用いたノード分類のための包括的でテストベッドを開発する。 10のデータセット、8つのLLMベースのアルゴリズム、3つの学習パラダイムを含み、新しいメソッドとデータセットで簡単に拡張できるように設計されている。 パフォーマンスに影響を与える重要な設定を決定するために、広範な実験、トレーニング、および2200以上のモデルの評価を行います。 その結果, LLM法は半教師付き環境で従来の手法を著しく上回り, その利点は教師付き環境ではごくわずかである,という8つの知見が得られた。
  論文  参考訳（メタデータ） (2025-02-02T15:56:05Z)
• LUK: Empowering Log Understanding with Expert Knowledge from Large Language Models [32.65636568742875]
  小言語モデル (PLM) と大言語モデル (LLM) は、ログ分析における現在の主流のアプローチとなっている。 本稿では,LLMから専門知識を自動取得するLUKと呼ばれる新しい知識向上フレームワークを導入し,これらの知識を用いてログ解析を行うため,より小さなPLMを向上する。 LUKは、異なるログ分析タスクに関する最先端の結果を達成し、LLMからのエキスパート知識をより効果的に利用してログを理解するための広範な実験を行った。
  論文  参考訳（メタデータ） (2024-09-03T13:58:34Z)
• An Empirical Study on Challenges for LLM Application Developers [28.69628251749012]
  私たちは、人気のあるOpenAI開発者フォーラムから29,057の関連質問をクロールして分析します。 2,364の質問を手動で分析した後、LLM開発者が直面している課題の分類を構築した。
  論文  参考訳（メタデータ） (2024-08-06T05:46:28Z)
• A Learn-Then-Reason Model Towards Generalization in Knowledge Base Question Answering [17.281005999581865]
  FreebaseやWikidataのような大規模知識ベース(KB)には、数百万の構造化知識がある。 Knowledge Base Question Answering (KBQA)は、自然言語の質問を通じて、これらの貴重なKBにアクセスするためのユーザフレンドリな方法を提供する。 本稿では,KBLLaMAを開発した。KBLLaMAは,新しいKB知識を言語モデルに注入し,フレキシブルなエンドツーエンドKBQAを実現するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-06-20T22:22:41Z)
• Perception of Knowledge Boundary for Large Language Models through Semi-open-ended Question Answering [67.94354589215637]
  大きな言語モデル(LLM)は知識探索に広く用いられているが、幻覚に悩まされている。 本稿では,LLMの知識境界(KB)を半オープンな質問(SoeQ)で知覚する。 GPT-4 は SoeQ では性能が悪く,KB に気づいていないことが多い。 我々の補助モデルであるLLaMA-2-13Bは、より曖昧な答えを見つけるのに有効である。
  論文  参考訳（メタデータ） (2024-05-23T10:00:14Z)
• Large Language Models Meet NLP: A Survey [79.74450825763851]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて印象的な機能を示している。 本研究は,以下の課題を探求することによって,このギャップに対処することを目的とする。
  論文  参考訳（メタデータ） (2024-05-21T14:24:01Z)
• Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
  大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。 我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。 実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-10T15:10:20Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Evaluating the Knowledge Base Completion Potential of GPT [29.75708908603862]
  GPT-3では、Wikidataを2700万の事実を90%の精度で拡張することができる。 適切なしきい値設定により、GPT-3 は Wikidata を 90% の精度で 2700万 の事実で拡張できることを示す。
  論文  参考訳（メタデータ） (2023-10-23T10:15:13Z)
• LLM2KB: Constructing Knowledge Bases using instruction tuned context aware Large Language Models [0.8702432681310401]
  本稿では,大規模言語モデルを用いた知識ベース構築システム LLM2KB を提案する。 ISWC 2023で開かれたLM-KBCチャレンジでは,21関係の平均F1スコアが0.6185に達した。
  論文  参考訳（メタデータ） (2023-08-25T07:04:16Z)
• KnowledGPT: Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases [55.942342665806656]
  KnowledGPTは、様々な知識ベースで大きな言語モデルをブリッジするための包括的なフレームワークである。 検索プロセスでは思考プロンプトプログラムを使用し,KBの検索言語をコード形式で生成する。 KnowledGPTは、個々のユーザ要求に合わせて、知識をパーソナライズされたKBに格納する機能を提供する。
  論文  参考訳（メタデータ） (2023-08-17T13:07:00Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Measuring the Knowledge Acquisition-Utilization Gap in Pretrained Language Models [26.342351417963965]
  事前訓練された言語モデル(PLM)は、膨大な量の知識を取得する証拠を示している。 このパラメトリックな知識が、下流のタスクの実行に実際にどの程度使えるかは、まだ不明である。 PLMにおけるパラメトリック知識利用量を測定するための体系的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-05-24T06:26:11Z)
• Cross-Lingual Question Answering over Knowledge Base as Reading Comprehension [61.079852289005025]
  知識ベース(xKBQA)に対する言語間質問応答は、提供された知識ベースとは異なる言語での質問に答えることを目的としている。 xKBQAが直面する大きな課題の1つは、データアノテーションのコストが高いことである。 読解パラダイムにおけるxKBQAの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-26T05:52:52Z)
• A Review on Language Models as Knowledge Bases [55.035030134703995]
  近年,知識ベース (KB) としての事前訓練言語モデル (LM) の利用に対する,NLPコミュニティへの関心が高まっている。
  論文  参考訳（メタデータ） (2022-04-12T18:35:23Z)
• Prix-LM: Pretraining for Multilingual Knowledge Base Construction [59.02868906044296]
  複数言語による知識構築と完成のための統合フレームワークである Prix-LM を提案する。 既存の多言語KBから抽出したモノリンガルトリプルとクロスリンガルリンクの2種類の知識を利用する。 複数の言語におけるリンク予測、言語間リンク、バイリンガル語彙誘導など、標準的なエンティティ関連タスクの実験は、その効果を実証している。
  論文  参考訳（メタデータ） (2021-10-16T02:08:46Z)
• SYGMA: System for Generalizable Modular Question Answering OverKnowledge Bases [57.89642289610301]
  SYGMAは、複数の知識ベースと複数のリアソニングタイプにまたがる汎用化を容易にするモジュラーアプローチである。 本システムの有効性を,DBpediaとWikidataの2つの異なる知識ベースに属するデータセットを用いて評価することで実証する。
  論文  参考訳（メタデータ） (2021-09-28T01:57:56Z)
• CogNet: Bridging Linguistic Knowledge, World Knowledge and Commonsense Knowledge [22.01447874535337]
  CogNetは3種類の知識を統合するための知識ベース(KB)である。 FrameNetからの言語知識。状況、オブジェクト、イベントをスキーマ的に記述する。 特定のインスタンスに関する明確な知識を提供するYAGO、Freebase、DBpedia、Wikidataの世界の知識。 暗黙の一般的な事実を記述するConceptNetの常識知識。
  論文  参考訳（メタデータ） (2021-03-03T02:47:18Z)
• Reasoning Over Virtual Knowledge Bases With Open Predicate Relations [85.19305347984515]
  Open Predicate Query Language (OPQL) を紹介します。 OPQLは、テキストから完全にトレーニングされた仮想知識ベース(VKB)を構築する方法である。 OPQLは2つの異なるKB推論タスクにおいて、以前のVKBメソッドよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-14T01:29:54Z)
• Beyond I.I.D.: Three Levels of Generalization for Question Answering on Knowledge Bases [63.43418760818188]
  GrailQA.comは64,331の質問で、新しい大規模で高品質なデータセットをリリースしました。 BERTベースのKBQAモデルを提案する。 データセットとモデルの組み合わせにより、KBQAの一般化におけるBERTのような事前学習されたコンテキスト埋め込みの重要な役割を、初めて徹底的に検証し、実証することが可能になります。
  論文  参考訳（メタデータ） (2020-11-16T06:36:26Z)
• Language Models as Knowledge Bases: On Entity Representations, Storage Capacity, and Paraphrased Queries [35.57443199012129]
  事前訓練された言語モデルは、構造化された知識ベースに対する代替または補完として提案されている。 ここでは、LMをKBとして扱うための2つの基本的な要件を定式化する。 我々は、LMが数百万のエンティティを表現できる3つのエンティティ表現を探索し、LMにおける世界知識のパラフレーズクエリに関する詳細なケーススタディを示す。
  論文  参考訳（メタデータ） (2020-08-20T15:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。