論文の概要: Knowledge Boundary Discovery for Large Language Models

• arxiv url: http://arxiv.org/abs/2603.21022v1
• Date: Wed, 14 Jan 2026 02:19:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:12.964616
• Title: Knowledge Boundary Discovery for Large Language Models
• Title（参考訳）: 大規模言語モデルのための知識境界探索
• Abstract要約: 大規模言語モデル(LLM)の知識境界を探索する強化学習に基づくフレームワークを提案する。 知識境界は, LLMが自信を持って解答できる質問(知識境界)と, 解答できない質問(知識境界)の2種類を自動生成することによって定義する。 KBD が LLM の知識境界を検出するためには,非自明な解答や解答不能な質問を自動的に見つけ出す必要がある。
• 参考スコア（独自算出の注目度）: 1.9967734396620447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Knowledge Boundary Discovery (KBD), a reinforcement learning based framework to explore the knowledge boundaries of the Large Language Models (LLMs). We define the knowledge boundary by automatically generating two types of questions: (i) those the LLM can confidently answer (within-knowledge boundary) and (ii) those it cannot (beyond-knowledge boundary). Iteratively exploring and exploiting the LLM's responses to find its knowledge boundaries is challenging because of the hallucination phenomenon. To find the knowledge boundaries of an LLM, the agent interacts with the LLM under the modeling of exploring a partially observable environment. The agent generates a progressive question as the action, adopts an entropy reduction as the reward, receives the LLM's response as the observation and updates its belief states. We demonstrate that the KBD detects knowledge boundaries of LLMs by automatically finding a set of non-trivial answerable and unanswerable questions. We validate the KBD by comparing its generated knowledge boundaries with manually crafted LLM benchmark datasets. Experiments show that our KBD-generated question set is comparable to the human-generated datasets. Our approach paves a new way to evaluate LLMs.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) の知識境界を探索するための強化学習に基づくフレームワークであるKnowledge Boundary Discovery (KBD)を提案する。 我々は,2種類の質問を自動的に生成することで,知識境界を定義する。 一 LLM が自信を持って答えることができるもの(知識境界なし)及び (二)それができないもの(知識の境界を越えて) LLMの反応を反復的に探索し、その知識境界を見つけることは、幻覚現象のために困難である。 LLMの知識境界を見つけるために、エージェントは部分的に観測可能な環境を探索するモデルの下でLLMと相互作用する。 エージェントは、アクションとしてプログレッシブな質問を生成し、報酬としてエントロピー還元を採用し、LPMの応答を観察として受信し、その信念状態を更新する。 KBD が LLM の知識境界を検出し,非自明な解答や解答不能な質問を自動的に見つけ出すことを実証する。 作成した知識境界を,手作業によるLLMベンチマークデータセットと比較することにより,KBDを検証する。 実験により、KBD生成した質問セットは、人間の生成したデータセットに匹敵することがわかった。 提案手法は, LLMの新たな評価方法である。

関連論文リスト

• GRADE: Probing Knowledge Gaps in LLMs through Gradient Subspace Dynamics [51.647572539626715]
  GRADE(Gradient Dynamics for Knowledge gap Detection)は,勾配の層間ランク比と対応する隠れ状態部分空間の層間ランク比を用いて,知識ギャップを定量化する。 6つのベンチマークでモデル名を検証し、入力摂動に対するその有効性と堅牢性を示す。 さらに, 勾配連鎖が長文解に対する知識ギャップの解釈可能な説明をいかに生み出すかを示すケーススタディを示す。
  論文  参考訳（メタデータ） (2026-04-03T07:52:26Z)
• Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation [77.10390725623125]
  検索強化世代(RAG)は知識範囲の拡大に広く利用されている。 RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。 本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
  論文  参考訳（メタデータ） (2025-05-17T13:13:13Z)
• Detecting Knowledge Boundary of Vision Large Language Models by Sampling-Based Inference [82.557441484339]
  視覚大言語モデル(VLLM)の知識境界を検出する手法を提案する。 様々な種類の視覚質問応答データセットに対する実験結果から,本手法がVLLMの知識境界をうまく表現できることが判明した。
  論文  参考訳（メタデータ） (2025-02-25T09:32:08Z)
• Knowledge Boundary of Large Language Models: A Survey [75.67848187449418]
  大規模言語モデル(LLM)はパラメータに膨大な量の知識を格納するが、特定の知識の記憶と利用に制限がある。 これは、LLMの知識境界を理解するための重要な必要性を強調している。 本稿では,LLM知識境界の包括的定義を提案し,知識を4つの異なるタイプに分類する形式化された分類法を提案する。
  論文  参考訳（メタデータ） (2024-12-17T02:14:02Z)
• RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
  本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。 本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
  論文  参考訳（メタデータ） (2023-11-14T13:24:19Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。