論文の概要: NanoKnow: How to Know What Your Language Model Knows

• arxiv url: http://arxiv.org/abs/2602.20122v1
• Date: Mon, 23 Feb 2026 18:37:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.951098
• Title: NanoKnow: How to Know What Your Language Model Knows
• Title（参考訳）: NanoKnow: あなたの言語モデルが知っていることを知る方法
• Authors: Lingwei Gu, Nour Jedidi, Jimmy Lin,
• Abstract要約: 我々はNanoKnowをリリースした。NanoKnowは、質問をNatural QuestionsとSQuADから分割するベンチマークデータセットだ。 これらの分割を用いて、LLMが出力を生成する際に依存する知識の源を適切に切り離すことができる。 以上の結果から,クローズドブックの精度は,事前学習データにおける回答頻度に強く影響していることがわかった。
• 参考スコア（独自算出の注目度）: 44.07087580987766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How do large language models (LLMs) know what they know? Answering this question has been difficult because pre-training data is often a "black box" -- unknown or inaccessible. The recent release of nanochat -- a family of small LLMs with fully open pre-training data -- addresses this as it provides a transparent view into where a model's parametric knowledge comes from. Towards the goal of understanding how knowledge is encoded by LLMs, we release NanoKnow, a benchmark dataset that partitions questions from Natural Questions and SQuAD into splits based on whether their answers are present in nanochat's pre-training corpus. Using these splits, we can now properly disentangle the sources of knowledge that LLMs rely on when producing an output. To demonstrate NanoKnow's utility, we conduct experiments using eight nanochat checkpoints. Our findings show: (1) closed-book accuracy is strongly influenced by answer frequency in the pre-training data, (2) providing external evidence can mitigate this frequency dependence, (3) even with external evidence, models are more accurate when answers were seen during pre-training, demonstrating that parametric and external knowledge are complementary, and (4) non-relevant information is harmful, with accuracy decreasing based on both the position and the number of non-relevant contexts. We release all NanoKnow artifacts at https://github.com/castorini/NanoKnow.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、彼らが知っていることをどうやって知っているのか? 事前学習データはしばしば、未知またはアクセス不能な"ブラックボックス"である。最近のnanochatのリリースは、完全にオープンな事前学習データを持つ小さなLLMのファミリであり、モデルのパラメトリック知識がどこから来るのかを透過的なビューを提供するため、この問題に対処する。 ナチュラル質問とSQuADから質問を分割するベンチマークデータセットであるNanoKnowを,ナノチャットの事前学習コーパスに回答が存在するかどうかに基づいてリリースする。 これらの分割を用いて、LLMが出力を生成する際に依存する知識の源を適切に切り離すことができる。 ナノクノウの有用性を実証するため、8つのナノチャットチェックポイントを用いて実験を行った。 その結果,(1) 閉本精度は,(1) 事前学習データにおける回答頻度の影響が強く,(2) 外部証拠の提供は,その頻度依存性を緩和することができること,(3) 外部証拠であっても,事前学習中に回答が見られた場合のモデルの方が正確であること,(4) パラメトリックおよび外部知識が相補的であること,(4) 非関連情報が有害であること,そして, 位置と非関連文脈の数の両方に基づいて精度が低下すること,などが示唆された。 NanoKnowのアーティファクトはすべてhttps://github.com/castorini/NanoKnowでリリースしています。

関連論文リスト

• Inside-Out: Hidden Factual Knowledge in LLMs [50.79758420289131]
  この研究は、大言語モデル(LLM)が出力で表現したものよりも、パラメータの事実的知識を符号化するかどうかを評価するためのフレームワークを示す。 まず、与えられた質問に対して、正解が上位にランクされている正解対の分数として、その知識の形式的定義を定量化する。 次に、このフレームワークを3つの人気のあるオープンウェイト LLM に適用し、クローズドブック QA セットアップのケーススタディを示す。
  論文  参考訳（メタデータ） (2025-03-19T15:21:48Z)
• Are LLMs Really Not Knowledgable? Mining the Submerged Knowledge in LLMs' Memory [15.986679553468989]
  大規模言語モデル(LLM)は潜在的な知識基盤として有望であることを示している。 LLMは質問応答タスクに苦しむことが多く、幻覚を起こす傾向がある。 我々は,検出されたが表現されていない知識を活用することで,解答精度を向上させる手法であるSkipUnsureを開発した。
  論文  参考訳（メタデータ） (2024-12-30T10:29:18Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。