論文の概要: Feeling of Knowing in Large Language Models

• arxiv url: http://arxiv.org/abs/2611.04834v1
• Date: Tue, 03 Nov 2026 13:04:46 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:23:09.116402
• Title: Feeling of Knowing in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける知識の意義
• Abstract要約: トレーニング後の更新は、大きな言語モデル(LLM)が答えられるものを変更するが、回答可能性の判断は一致しない可能性がある。 機能的知識感覚(FoK)による知識判断の非同期化について検討する。 FoKは選択的生成、検索トリガー、モデルルーティングをサポートし、主観的な経験を示唆しない。
• 参考スコア（独自算出の注目度）: 39.811708242278584
• License:
• Abstract: Post-training updates change what large language models (LLMs) can answer, but may leave their answerability judgments misaligned. We study this knowledge-judgment desynchronization through functional feeling of knowing (FoK), which supports selective generation, retrieval triggering, and model routing without implying subjective experience. We propose two trainable channels: a knowledge channel that changes answerability and a FoK channel that judges the current knowledge state. Three stages train them: on-policy supervised fine-tuning (OP-SFT) updates knowledge from corrected on-policy answers; knowledge-delta FoK training (K$Δ$-FT) adapts judgments across intermediate knowledge states; and FoK-guided policy optimization (FGPO) trains the subsequent answer or explanation. Factual-QA experiments, cross-dataset evaluation, and three sequential updates show that explicit FoK alignment improves judgment quality on updated knowledge. MMLU and ARC-Easy separately assess capability preservation.
• Abstract（参考訳）: トレーニング後の更新は、大きな言語モデル(LLM)が答えられるものを変更するが、回答可能性の判断は一致しない可能性がある。 主観的経験を示唆することなく、選択的生成、検索トリガー、モデルルーティングをサポートする機能的知識感覚(FoK)を通して、この知識判断の非同期化について検討する。 本稿では,応答性を変化させる知識チャネルと,現在の知識状態を判断するFoKチャネルの2つの訓練可能なチャネルを提案する。 On-policy supervised fine-tuning (OP-SFT) は修正されたオンライン回答から知識を更新し、nowledge-delta FoK training (K$Δ$-FT) は中間的知識状態にわたって判断を適応させ、FoK-guided Policy Optimization (FGPO) はその後の回答や説明を訓練する。 Factual-QA実験、クロスデータセット評価、および3つの逐次更新は、明示的なFoKアライメントが更新された知識の判断品質を改善することを示す。 MMLUとARC-Easyは機能保存を別々に評価する。

関連論文リスト

• PassiveQA: A Three-Action Framework for Epistemically Calibrated Question Answering via Supervised Finetuning [0.0]
  不完全情報の下では、モデルが解答、解答、Ask、Abstainを判断しなければならない。 本稿では,教師付き微調整によりモデル行動と情報満足度を整合させる3つのアクション・フレームワークであるPassiveQAを提案する。 提案手法は,構造化情報状態表現,知識グラフ基底コンテキスト,および不足変数と決定推論を明示的にモデル化した微調整プランナーを統合する。
  論文  参考訳（メタデータ） (2026-04-06T09:54:16Z)
• PropMEND: Hypernetworks for Knowledge Propagation in LLMs [82.99849359892112]
  本稿では,PropMENDという,ハイパーネットワークに基づく知識伝播手法を提案する。 インジェクションされた事実に回答が明記されていないマルチホップ質問に対して,ほぼ2倍の精度で回答を提示する。 我々はまた、ハイパーネットワークの一般化を評価するために、新しいデータセットである Controlled RippleEdit も導入した。
  論文  参考訳（メタデータ） (2025-06-10T15:44:19Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Knowledge-Driven CoT: Exploring Faithful Reasoning in LLMs for Knowledge-intensive Question Answering [17.672572064705445]
  CoT(Chain-of-Thought)を備えた大規模言語モデル(LLM)は、様々な下流タスクにおいて顕著な推論能力を示している。 我々は、外部知識との相互作用を通じてCoTの推論トレースを検証・修正する、KD-CoT(Knowled-Driven Chain-of-Thought)というフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-25T09:23:55Z)
• RECKONING: Reasoning through Dynamic Knowledge Encoding [51.076603338764706]
  言語モデルは、文脈の一部として提供される知識について推論することで、質問に答えることができることを示す。 これらの状況では、モデルは質問に答えるために必要な知識を区別することができない。 我々は、与えられた文脈知識をモデルのパラメータに折り畳み、より堅牢に推論するようにモデルに教えることを提案する。
  論文  参考訳（メタデータ） (2023-05-10T17:54:51Z)
• FiTs: Fine-grained Two-stage Training for Knowledge-aware Question Answering [47.495991137191425]
  本稿では, KAQAシステム性能を向上させるための微細な2段階トレーニングフレームワーク (FiT) を提案する。 第1段階は、PLMとKGからの表現の整列を目標とし、それらの間のモダリティギャップを埋めることである。 第2段階はナレッジ・アウェア・ファインチューニングと呼ばれ、モデルの共同推論能力の向上を目的としている。
  論文  参考訳（メタデータ） (2023-02-23T06:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。