論文の概要: NanoKnow: How to Know What Your Language Model Knows

• arxiv url: http://arxiv.org/abs/2602.20122v1
• Date: Mon, 23 Feb 2026 18:37:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.951098
• Title: NanoKnow: How to Know What Your Language Model Knows
• Title（参考訳）: NanoKnow: あなたの言語モデルが知っていることを知る方法
• Authors: Lingwei Gu, Nour Jedidi, Jimmy Lin,
• Abstract要約: 我々はNanoKnowをリリースした。NanoKnowは、質問をNatural QuestionsとSQuADから分割するベンチマークデータセットだ。 これらの分割を用いて、LLMが出力を生成する際に依存する知識の源を適切に切り離すことができる。 以上の結果から,クローズドブックの精度は,事前学習データにおける回答頻度に強く影響していることがわかった。
• 参考スコア（独自算出の注目度）: 44.07087580987766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How do large language models (LLMs) know what they know? Answering this question has been difficult because pre-training data is often a "black box" -- unknown or inaccessible. The recent release of nanochat -- a family of small LLMs with fully open pre-training data -- addresses this as it provides a transparent view into where a model's parametric knowledge comes from. Towards the goal of understanding how knowledge is encoded by LLMs, we release NanoKnow, a benchmark dataset that partitions questions from Natural Questions and SQuAD into splits based on whether their answers are present in nanochat's pre-training corpus. Using these splits, we can now properly disentangle the sources of knowledge that LLMs rely on when producing an output. To demonstrate NanoKnow's utility, we conduct experiments using eight nanochat checkpoints. Our findings show: (1) closed-book accuracy is strongly influenced by answer frequency in the pre-training data, (2) providing external evidence can mitigate this frequency dependence, (3) even with external evidence, models are more accurate when answers were seen during pre-training, demonstrating that parametric and external knowledge are complementary, and (4) non-relevant information is harmful, with accuracy decreasing based on both the position and the number of non-relevant contexts. We release all NanoKnow artifacts at https://github.com/castorini/NanoKnow.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、彼らが知っていることをどうやって知っているのか? 事前学習データはしばしば、未知またはアクセス不能な"ブラックボックス"である。最近のnanochatのリリースは、完全にオープンな事前学習データを持つ小さなLLMのファミリであり、モデルのパラメトリック知識がどこから来るのかを透過的なビューを提供するため、この問題に対処する。 ナチュラル質問とSQuADから質問を分割するベンチマークデータセットであるNanoKnowを,ナノチャットの事前学習コーパスに回答が存在するかどうかに基づいてリリースする。 これらの分割を用いて、LLMが出力を生成する際に依存する知識の源を適切に切り離すことができる。 ナノクノウの有用性を実証するため、8つのナノチャットチェックポイントを用いて実験を行った。 その結果,(1) 閉本精度は,(1) 事前学習データにおける回答頻度の影響が強く,(2) 外部証拠の提供は,その頻度依存性を緩和することができること,(3) 外部証拠であっても,事前学習中に回答が見られた場合のモデルの方が正確であること,(4) パラメトリックおよび外部知識が相補的であること,(4) 非関連情報が有害であること,そして, 位置と非関連文脈の数の両方に基づいて精度が低下すること,などが示唆された。 NanoKnowのアーティファクトはすべてhttps://github.com/castorini/NanoKnowでリリースしています。

関連論文リスト

• ReFactX: Scalable Reasoning with Reliable Facts via Constrained Generation [8.331415420334361]
  本稿では,検索者や補助モデルに依存することなく,大規模言語モデルが外部知識にアクセスできるようにするスケーラブルな手法を提案する。 提案手法はプレビルドプレフィックスツリーインデックスを用いた制約付き生成を用いる。 質問応答に関する提案を評価した結果,大規模知識ベース(事実8億件)にスケールし,ドメイン固有のデータに適応し,効果的な結果が得られた。
  論文  参考訳（メタデータ） (2025-08-23T10:21:47Z)
• Prompting is not Enough: Exploring Knowledge Integration and Controllable Generation [89.65955788873532]
  オープンドメイン質問応答(OpenQA)は自然言語処理(NLP)の基盤である。 我々は,知識統合と制御可能生成を探求し,OpenQAの性能向上を目的としたGenKIという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T08:18:33Z)
• How new data permeates LLM knowledge and how to dilute it [19.96863816288517]
  大規模言語モデルは、勾配ベースの更新の蓄積を通じて学び、継続的に学習する。 新たな事実を学習することで、モデルは無関係な文脈でその知識を不適切に適用することができる。 学習前のキーワードのトークン確率を計測することにより,新しい情報学習後のプライミングの度合いを予測することができることを示す。
  論文  参考訳（メタデータ） (2025-04-13T11:25:04Z)
• Inside-Out: Hidden Factual Knowledge in LLMs [50.79758420289131]
  この研究は、大言語モデル(LLM)が出力で表現したものよりも、パラメータの事実的知識を符号化するかどうかを評価するためのフレームワークを示す。 まず、与えられた質問に対して、正解が上位にランクされている正解対の分数として、その知識の形式的定義を定量化する。 次に、このフレームワークを3つの人気のあるオープンウェイト LLM に適用し、クローズドブック QA セットアップのケーススタディを示す。
  論文  参考訳（メタデータ） (2025-03-19T15:21:48Z)
• Are LLMs Really Not Knowledgable? Mining the Submerged Knowledge in LLMs' Memory [15.986679553468989]
  大規模言語モデル(LLM)は潜在的な知識基盤として有望であることを示している。 LLMは質問応答タスクに苦しむことが多く、幻覚を起こす傾向がある。 我々は,検出されたが表現されていない知識を活用することで,解答精度を向上させる手法であるSkipUnsureを開発した。
  論文  参考訳（メタデータ） (2024-12-30T10:29:18Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Physics of Language Models: Part 3.1, Knowledge Storage and Extraction [51.68385617116854]
  大規模言語モデル(LLM)は膨大な量の世界の知識を格納することができ、しばしば質問応答によって抽出できる。 モデルが知識を抽出する能力と,トレーニングデータの多様な多様性尺度との間には,強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-09-25T17:37:20Z)
• Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering [7.888547093390469]
  大言語モデル(LLM)は、ゼロショットのクローズドブック質問応答タスクを実行することができる。 我々は,LSMの入力において,その知識を直接拡張することを提案する。 我々のフレームワークであるKAPING(Knowledge-Augmented Language Model Prompting)は、モデルトレーニングを必要としないため、完全にゼロショットである。
  論文  参考訳（メタデータ） (2023-06-07T04:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。