論文の概要: How Knowledge Popularity Influences and Enhances LLM Knowledge Boundary Perception

• arxiv url: http://arxiv.org/abs/2505.17537v1
• Date: Fri, 23 May 2025 06:42:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.87531
• Title: How Knowledge Popularity Influences and Enhances LLM Knowledge Boundary Perception
• Title（参考訳）: 知識人気度がLLM知識境界知覚に与える影響と強化
• Authors: Shiyu Ni, Keping Bi, Jiafeng Guo, Xueqi Cheng,
• Abstract要約: 我々は,質問におけるエンティティの人気,回答におけるエンティティの人気,関係性の人気という3つの観点から,知識の人気を定量化する。 実験により、LLMはより優れたQAパフォーマンス、高い信頼性、より一般的な知識に対するより正確な認識を示すことが示された。 これにより、すべてのモデルとデータセットの平均5.24%の正解率予測の精度が向上する。
• 参考スコア（独自算出の注目度）: 66.01754585188739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often fail to recognize their knowledge boundaries, producing confident yet incorrect answers. In this paper, we investigate how knowledge popularity affects LLMs' ability to perceive their knowledge boundaries. Focusing on entity-centric factual question answering (QA), we quantify knowledge popularity from three perspectives: the popularity of entities in the question, the popularity of entities in the answer, and relation popularity, defined as their co-occurrence frequency. Experiments on three representative datasets containing knowledge with varying popularity show that LLMs exhibit better QA performance, higher confidence, and more accurate perception on more popular knowledge, with relation popularity having the strongest correlation. Cause knowledge popularity shows strong correlation with LLMs' QA performance, we propose to leverage these signals for confidence calibration. This improves the accuracy of answer correctness prediction by an average of 5.24% across all models and datasets. Furthermore, we explore prompting LLMs to estimate popularity without external corpora, which yields a viable alternative.
• Abstract（参考訳）: 大規模言語モデル(LLM)は知識境界の認識に失敗することが多く、自信に満ちた答えを生み出す。 本稿では,知識の普及がLLMの知識境界を知覚する能力にどのように影響するかを検討する。 主体中心の事実質問応答(QA)に着目し,質問におけるエンティティの人気,回答におけるエンティティの人気,共起頻度として定義される関係人気という,3つの視点から知識人気を定量化する。 様々な人気を持つ知識を含む3つの代表的なデータセットの実験により、LLMはより優れたQA性能、高い信頼性、そしてより一般的な知識に対するより正確な認識を示し、相関性が最も高いことが示されている。 知識人気がLLMのQA性能と強く相関していることから,信頼性校正にこれらの信号を活用することを提案する。 これにより、すべてのモデルとデータセットの平均5.24%の正解率予測の精度が向上する。 さらに,外部コーパスを使わずにLLMに人気を推定させる手法についても検討した。

関連論文リスト

• Inside-Out: Hidden Factual Knowledge in LLMs [50.79758420289131]
  この研究は、大言語モデル(LLM)が出力で表現したものよりも、パラメータの事実的知識を符号化するかどうかを評価するためのフレームワークを示す。 まず、与えられた質問に対して、正解が上位にランクされている正解対の分数として、その知識の形式的定義を定量化する。 次に、このフレームワークを3つの人気のあるオープンウェイト LLM に適用し、クローズドブック QA セットアップのケーススタディを示す。
  論文  参考訳（メタデータ） (2025-03-19T15:21:48Z)
• Towards Reliable Latent Knowledge Estimation in LLMs: Zero-Prompt Many-Shot Based Factual Knowledge Extraction [15.534647327246239]
  本稿では,大規模言語モデル(LLM)を事実知識として探索する場合に,迅速なエンジニアリングを不要にすることを提案する。 我々のアプローチはZP-LKE(Zero-Prompt Latent Knowledge Estimator)と呼ばれ、LLMの文脈内学習能力を活用している。 我々は,Wikidata の知識ベースから,さまざまなオープンソース LLM の事実知識を,膨大な関連性や事実に対して大規模に評価する。
  論文  参考訳（メタデータ） (2024-04-19T15:40:39Z)
• KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
  本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
  論文  参考訳（メタデータ） (2024-02-17T02:54:32Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。