論文の概要: GRADE: Probing Knowledge Gaps in LLMs through Gradient Subspace Dynamics

• arxiv url: http://arxiv.org/abs/2604.02830v1
• Date: Fri, 03 Apr 2026 07:52:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.382212
• Title: GRADE: Probing Knowledge Gaps in LLMs through Gradient Subspace Dynamics
• Title（参考訳）: GRADE: 勾配部分空間ダイナミクスによるLLMの知識ギャップの探索
• Authors: Yujing Wang, Yuanbang Liang, Yukun Lai, Hainan Zhang, Hanqi Yan,
• Abstract要約: GRADE(Gradient Dynamics for Knowledge gap Detection)は,勾配の層間ランク比と対応する隠れ状態部分空間の層間ランク比を用いて,知識ギャップを定量化する。 6つのベンチマークでモデル名を検証し、入力摂動に対するその有効性と堅牢性を示す。 さらに, 勾配連鎖が長文解に対する知識ギャップの解釈可能な説明をいかに生み出すかを示すケーススタディを示す。
• 参考スコア（独自算出の注目度）: 51.647572539626715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting whether a model's internal knowledge is sufficient to correctly answer a given question is a fundamental challenge in deploying responsible LLMs. In addition to verbalising the confidence by LLM self-report, more recent methods explore the model internals, such as the hidden states of the response tokens to capture how much knowledge is activated. We argue that such activated knowledge may not align with what the query requires, e.g., capturing the stylistic and length-related features that are uninformative for answering the query. To fill the gap, we propose GRADE (Gradient Dynamics for knowledge gap detection), which quantifies the knowledge gap via the cross-layer rank ratio of the gradient to that of the corresponding hidden state subspace. This is motivated by the property of gradients as estimators of the required knowledge updates for a given target. We validate \modelname{} on six benchmarks, demonstrating its effectiveness and robustness to input perturbations. In addition, we present a case study showing how the gradient chain can generate interpretable explanations of knowledge gaps for long-form answers.
• Abstract（参考訳）: モデルの内部知識が与えられた質問に正しく答えるのに十分かどうかを検出することは、責任あるLCMを配置する上での根本的な課題である。 LLM自己報告による信頼性の言葉化に加えて、より最近の手法では、応答トークンの隠れ状態のようなモデル内部を探索して、どれだけの知識が活性化されているかを把握する。 このようなアクティベートされた知識は、クエリが必要とするもの、例えば、クエリに答えるには役に立たないスタイリスティックな特徴や長さに関連した特徴をキャプチャするのと一致しないかもしれない、と私たちは主張する。 このギャップを埋めるために, GRADE (Gradient Dynamics for Knowledge gap Detection) を提案し, グラデーションの層間ランク比と対応する隠れ状態部分空間の層間ランク比を用いて知識ギャップを定量化する。 これは、与えられた目標に対する必要な知識更新を推定する手段として、勾配の性質によって動機付けられている。 6つのベンチマークで \modelname{} を検証し、入力摂動に対するその有効性と堅牢性を示す。 さらに, 勾配連鎖が長文解に対する知識ギャップの解釈可能な説明をいかに生み出すかを示すケーススタディを示す。

関連論文リスト

• Probing the Knowledge Boundary: An Interactive Agentic Framework for Deep Knowledge Extraction [29.717986496967978]
  本稿では,大規模言語モデルの知識を体系的に抽出し,定量化する対話型エージェントフレームワークを提案する。 本手法は,異なる粒度で知識を探索する4つの適応探索ポリシーを含む。 我々は、より大きなモデルが常により多くの知識を抽出する明確な知識スケーリング法を観察する。
  論文  参考訳（メタデータ） (2026-02-01T01:43:44Z)
• Knowledge Boundary Discovery for Large Language Models [1.9967734396620447]
  大規模言語モデル(LLM)の知識境界を探索する強化学習に基づくフレームワークを提案する。 知識境界は, LLMが自信を持って解答できる質問(知識境界)と, 解答できない質問(知識境界)の2種類を自動生成することによって定義する。 KBD が LLM の知識境界を検出するためには,非自明な解答や解答不能な質問を自動的に見つけ出す必要がある。
  論文  参考訳（メタデータ） (2026-01-14T02:19:13Z)
• Knowledge Homophily in Large Language Models [75.12297135039776]
  大規模言語モデル(LLM)における類似知識のホモフィリパターンについて検討する。 我々は LLM の知識を三重項レベルと実体レベルの両方の知識チェックを通じてグラフ表現にマッピングする。 このホモフィリ原理により、三重項の実体レベルの知識度スコアを推定するグラフニューラルネットワーク(GNN)回帰モデルを提案する。
  論文  参考訳（メタデータ） (2025-09-28T09:40:27Z)
• Prompting Large Language Models with Partial Knowledge for Answering Questions with Unseen Entities [43.88784275673178]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLMs) におけるパラメトリック知識の補足と置換によって優れた性能を示す 我々は,金の推論経路とその変種が,その答えを含む経路を除去することにより,部分的に関連する知識を構築するためにどのように使用されるかを示す。 我々の覚醒に基づくアプローチは、組み込みベースの類似性に依存する従来の手法よりも優れた実用的効果を示す。
  論文  参考訳（メタデータ） (2025-08-02T09:54:46Z)
• PropMEND: Hypernetworks for Knowledge Propagation in LLMs [82.99849359892112]
  本稿では,PropMENDという,ハイパーネットワークに基づく知識伝播手法を提案する。 インジェクションされた事実に回答が明記されていないマルチホップ質問に対して,ほぼ2倍の精度で回答を提示する。 我々はまた、ハイパーネットワークの一般化を評価するために、新しいデータセットである Controlled RippleEdit も導入した。
  論文  参考訳（メタデータ） (2025-06-10T15:44:19Z)
• Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation [77.10390725623125]
  検索強化世代(RAG)は知識範囲の拡大に広く利用されている。 RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。 本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
  論文  参考訳（メタデータ） (2025-05-17T13:13:13Z)
• IAO Prompting: Making Knowledge Flow Explicit in LLMs through Structured Reasoning Templates [7.839338724237275]
  IAO(Input-Action-Output)は,大規模言語モデルがどのようにアクセスし,その知識を適用するかを明確にモデル化するテンプレートベースの構造的手法である。 IAOは問題を逐次的なステップに分解し、それぞれが使用する入力知識、実行中のアクション、および結果の出力を明確に識別する。 本研究は, LLMにおける知識表現と, より信頼性の高い知識応用のための手法に関する知見を提供する。
  論文  参考訳（メタデータ） (2025-02-05T11:14:20Z)
• Fine-grained Stateful Knowledge Exploration: Effective and Efficient Graph Retrieval with Large Language Models [19.049828741139425]
  大きな言語モデル(LLM)は印象的な能力を示していますが、その知識を更新することは大きな課題です。 既存のほとんどの手法では、知識グラフから関連する知識を漸進的に取り出すために、問題全体を目的として扱うパラダイムを使用している。 本研究では,細粒度ステートフル知識探索のための新しいパラダイムであるFiSKEを提案する。
  論文  参考訳（メタデータ） (2024-01-24T13:36:50Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。