論文の概要: Foundations of LLM Knowledge Materialization: Termination, Reproducibility, Robustness

• arxiv url: http://arxiv.org/abs/2510.06780v1
• Date: Wed, 08 Oct 2025 09:03:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.377004
• Title: Foundations of LLM Knowledge Materialization: Termination, Reproducibility, Robustness
• Title（参考訳）: LLM知識物質化の基礎:終了・再現性・ロバスト性
• Authors: Luca Giordano, Simon Razniewski,
• Abstract要約: ミニGPTKBを用いてLarge Language Models (LLM)知識の実体化を体系的に研究する。 我々は、収量、語彙的類似性、意味的類似性という3つのカテゴリのメトリクスの終端、堅牢性、およびメトリクスを分析します。 以上の結果から, (i) モデルに依存しながら高い終端率, (ii) 混合, (iii) 摂動型によって異なる, 種子や温度は高い, 言語やモデルでは低い,といった結果が得られた。
• 参考スコア（独自算出の注目度）: 7.018070351055396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) encode substantial factual knowledge, yet measuring and systematizing this knowledge remains challenging. Converting it into structured format, for example through recursive extraction approaches such as the GPTKB methodology (Hu et al., 2025b), is still underexplored. Key open questions include whether such extraction can terminate, whether its outputs are reproducible, and how robust they are to variations. We systematically study LLM knowledge materialization using miniGPTKBs (domain-specific, tractable subcrawls), analyzing termination, reproducibility, and robustness across three categories of metrics: yield, lexical similarity, and semantic similarity. We experiment with four variations (seed, language, randomness, model) and three illustrative domains (from history, entertainment, and finance). Our findings show (i) high termination rates, though model-dependent; (ii) mixed reproducibility; and (iii) robustness that varies by perturbation type: high for seeds and temperature, lower for languages and models. These results suggest that LLM knowledge materialization can reliably surface core knowledge, while also revealing important limitations.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、かなりの事実知識を符号化するが、この知識の測定と体系化は依然として困難である。 GPTKB法(Hu et al , 2025b)のような再帰的抽出手法による構造化形式への変換はいまだ未定である。 鍵となるオープンな疑問は、そのような抽出が終了するかどうか、その出力が再現可能かどうか、そしてそれがいかに変動に対して堅牢かである。 我々は,ミニGPTKBを用いてLLM知識の実体化を体系的に研究し,終端,再現性,堅牢性を3つの尺度(収量,語彙的類似性,意味的類似性)で分析した。 4つのバリエーション(種子、言語、ランダム性、モデル)と3つのイラストラティブドメイン(歴史、エンターテイメント、ファイナンス)を実験した。 私たちの発見は (i)モデルに依存してはいるものの、高い終了率 (二)混合再現性、及び (3)摂動型によって異なる頑丈さ:種子や温度が高いこと、言語やモデルが低いこと。 これらの結果は,LLMの知識の実体化がコア知識を確実に表すと同時に,重要な制約を明らかにすることを示唆している。

関連論文リスト

• Prompting Large Language Models with Partial Knowledge for Answering Questions with Unseen Entities [43.88784275673178]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLMs) におけるパラメトリック知識の補足と置換によって優れた性能を示す 我々は,金の推論経路とその変種が,その答えを含む経路を除去することにより,部分的に関連する知識を構築するためにどのように使用されるかを示す。 我々の覚醒に基づくアプローチは、組み込みベースの類似性に依存する従来の手法よりも優れた実用的効果を示す。
  論文  参考訳（メタデータ） (2025-08-02T09:54:46Z)
• Uncertainty Quantification of Large Language Models through Multi-Dimensional Responses [4.505944978127014]
  セマンティック・ナレッジ・アウェア・類似性分析を統合した多次元UQフレームワークを提案する。 このアプローチは、意味と知識の両方の次元から重なり合う情報を分離し、意味のバリエーションと事実の一貫性の両方をキャプチャする。 実験により,本手法は不確かさを識別する既存の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-02-24T04:05:08Z)
• KBM: Delineating Knowledge Boundary for Adaptive Retrieval in Large Language Models [69.99274367773997]
  大規模言語モデル(LLM)は知識を動的に変化させ、未知の静的情報を扱うのにしばしば苦労する。 Retrieval-Augmented Generation (RAG) はこれらの課題に対処するために使われ、LLMの性能向上に大きな影響を与えている。 本稿では,ある質問の既知/未知を表現し,RAGを起動する必要があるかどうかを判断するための知識境界モデル(KBM)を提案する。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach [0.0]
  LLM(Large Language Models)は、幻覚と呼ばれる不正確な出力を生成する。 本稿では,トークンから得られる4つの数値的特徴と,他の評価者から得られる語彙的確率を用いた教師付き学習手法を提案する。 この方法は有望な結果をもたらし、3つの異なるベンチマークで複数のタスクで最先端の結果を上回る。
  論文  参考訳（メタデータ） (2024-05-30T03:00:47Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Modeling Multi-Granularity Hierarchical Features for Relation Extraction [26.852869800344813]
  本稿では,原文のみに基づく多粒度特徴抽出手法を提案する。 外部知識を必要とせずに,効果的な構造的特徴が達成可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-09T09:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。