論文の概要: LUMOS: Tracing Parametric Knowledge from Training Data to Behavioral Outputs in LLMs

• arxiv url: http://arxiv.org/abs/2610.02902v2
• Date: Tue, 06 Oct 2026 11:17:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.269124
• Title: LUMOS: Tracing Parametric Knowledge from Training Data to Behavioral Outputs in LLMs
• Title（参考訳）: LUMOS:LLMにおける学習データから行動出力へのパラメトリック知識の追跡
• Abstract要約: LUMOSは、学習データから行動出力まで、因果連鎖に沿った知識をトレースする診断フレームワークである。 検証された露光で解析を行うことにより、モデルが内部的に希少な事実を高い分離性でエンコードすることを明らかにする。 モデルが自身の回答に基づいて自己参照を求められると、トレーニング済みのコンテンツで確実に動作しますが、目に見えないコンテンツのランダムベースラインレベルに落ちます。
• 参考スコア（独自算出の注目度）: 13.199863379308908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current analyses of LLMs' parametric knowledge are largely output-centric, drawing conclusions about what a model knows without verifying what it was actually trained on. This leaves fundamental questions, such as whether a correct response reflects genuine generalization or rote memorization, grounded in speculation rather than evidence. To resolve these ambiguities, we introduce LUMOS, a diagnostic framework that traces knowledge along the causal chain from training-data exposure to behavioral output, leveraging OLMo 2 with its fully transparent training corpus. By grounding analysis in verified exposure, we reveal that models internally encode rare facts with high separability (84%) yet fail to express them behaviorally (54%), though this retrieval gap narrows with scale. Furthermore, when models are asked to self-reflect on their own answers, they perform reliably on trained content (83%) but drop to random-baseline levels (49%) on unseen content. This collapse persists even under chain-of-thought prompting, which inflates confidence signals rather than improving calibration. Collectively, these findings demonstrate that incorporating the training-data axis into LLM evaluation transforms speculative diagnoses into verifiable claims, and we advocate that this axis should be a standard component of knowledge assessment in LLMs.
• Abstract（参考訳）: LLMのパラメトリック知識の現在の分析は、主に出力中心であり、モデルが実際にトレーニングされたことを検証せずに、何を知っているかという結論を導いている。 このことは、正しい反応が真の一般化を反映しているか、あるいは、証拠よりも憶測に根ざした暗記を反映しているかといった根本的な疑問を残している。 これらの曖昧さを解決するために, OLMo 2 を完全透明なトレーニングコーパスで活用し, 学習データから行動出力まで, 因果連鎖に沿った知識をトレースする診断フレームワーク LUMOS を導入する。 検証露光解析により, モデル内部で高い分離性(84%) を持つ稀な事実を符号化するが, 行動表現に失敗する(54%) が, この検索ギャップは規模によって狭まる。 さらに、モデルが自身の回答に基づいて自己認識するように要求されると、トレーニング済みのコンテンツ(83%)で確実に機能するが、目に見えないコンテンツではランダムベースラインレベル(49%)に低下する。 この崩壊は、キャリブレーションを改善するのではなく、信頼シグナルを膨らませるチェーン・オブ・シント・プロンプトの下でも継続する。 これらの結果は,LLM評価にトレーニングデータ軸を組み込むことで,投機的診断が検証可能なクレームに変換されることを示し,この軸がLLMの知識評価の標準コンポーネントであるべきであることを示唆している。

関連論文リスト

• LLMs learn different forms of metacognition when trained to predict their own accuracy [13.503004451037212]
  私たちは、関係する知識があるかどうかに関わらず、答えを常に生成するように、大きな言語モデルを訓練します。 訓練された信頼感は2つの異なるシグナルを反映している。 これらの結果は、キャリブレーショントレーニングがモデルに、自信を持ってコミットしたエラーを一般的に検出するように教えるものではないことを示唆している。
  論文  参考訳（メタデータ） (2026-09-27T20:02:33Z)
• Do I Really Know? Learning Factual Self-Verification for Hallucination Reduction [14.310806623700037]
  本稿では,一貫性に基づく自己検証を通じて,大規模言語モデルに事実の不確実性を推論する学習時間フレームワークを提案する。 複数のモデルファミリーとスケールで、VeriFYは事実の幻覚率を9.7から53.3%に下げ、リコールはわずかに減少している。 ソースコード、トレーニングデータ、トレーニングされたモデルチェックポイントは、受け入れ次第リリースされる。
  論文  参考訳（メタデータ） (2026-02-02T12:15:50Z)
• Unsupervised Hallucination Detection by Inspecting Reasoning Processes [53.15199932086543]
  非教師付き幻覚検出は、ラベル付きデータに頼ることなく、大規模言語モデル(LLM)が生成する幻覚コンテンツを特定することを目的としている。 本稿では,非教師なし幻覚検出フレームワークIRISを提案する。 我々の手法は完全に教師なし、計算コストが低く、訓練データが少ない場合でもうまく機能し、リアルタイム検出に適しています。
  論文  参考訳（メタデータ） (2025-09-12T06:58:17Z)
• Factual Self-Awareness in Language Models: Representation, Robustness, and Scaling [56.26834106704781]
  大規模言語モデル(LLM)のユビキタス展開における主要な関心事の一つは、生成されたコンテンツの事実的誤りである。 我々は, LLMの内部コンパスの存在を裏付ける証拠を提供し, 生成時の事実的リコールの正しさを規定する。 モデルサイズにわたる実験のスケールとトレーニングのダイナミクスは、トレーニング中に自己認識が急速に出現し、中間層でピークとなることを浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-05-27T16:24:02Z)
• Are LLMs Really Not Knowledgable? Mining the Submerged Knowledge in LLMs' Memory [15.986679553468989]
  大規模言語モデル(LLM)は潜在的な知識基盤として有望であることを示している。 LLMは質問応答タスクに苦しむことが多く、幻覚を起こす傾向がある。 我々は,検出されたが表現されていない知識を活用することで,解答精度を向上させる手法であるSkipUnsureを開発した。
  論文  参考訳（メタデータ） (2024-12-30T10:29:18Z)
• Detecting LLM Hallucination Through Layer-wise Information Deficiency: Analysis of Ambiguous Prompts and Unanswerable Questions [60.31496362993982]
  大規模言語モデル(LLM)は、自信を持って不正確な応答を頻繁に生成する。 本稿では,情報フローの系統的解析を通じて,モデル幻覚を検出する新しいテストタイム手法を提案する。
  論文  参考訳（メタデータ） (2024-12-13T16:14:49Z)
• Dynamic Uncertainty Ranking: Enhancing Retrieval-Augmented In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• PertEval: Unveiling Real Knowledge Capacity of LLMs with Knowledge-Invariant Perturbations [22.011216436252845]
  本稿では,大言語モデルの知識能力を探索するツールキットPertEvalを紹介する。 PertEvalは、静的ベンチマークからオンザフライテストサンプルを生成するために、人間のような再配置技術を採用している。 我々の発見は、より堅牢で真に理解できるLSMを前進させる洞察を与えてくれる。
  論文  参考訳（メタデータ） (2024-05-30T06:38:32Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。