論文の概要: What Models Know, How Well They Know It: Knowledge-Weighted Fine-Tuning for Learning When to Say "I Don't Know"

• arxiv url: http://arxiv.org/abs/2604.05779v1
• Date: Tue, 07 Apr 2026 12:17:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.813051
• Title: What Models Know, How Well They Know It: Knowledge-Weighted Fine-Tuning for Learning When to Say "I Don't Know"
• Title（参考訳）: モデルは何を知っているか、どのように知っているか: 「私は知らない」と言うときの学習のための知識に富んだ微調整
• Abstract要約: マルチサンプル推論により,詳細なインスタンスレベルの知識スコアを推定する。 モデルの既存の知識に従って学習信号をスケールし、スコープ外クエリに対する明示的な"私は知らない"応答を奨励します。
• 参考スコア（独自算出の注目度）: 15.460253787771324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While large language models (LLMs) demonstrate strong capabilities across diverse user queries, they still suffer from hallucinations, often arising from knowledge misalignment between pre-training and fine-tuning. To address this misalignment, we reliably estimate a fine-grained, instance-level knowledge score via multi-sampled inference. Using the knowledge score, we scale the learning signal according to the model's existing knowledge, while encouraging explicit "I don't know" responses for out-of-scope queries. Experimental results show that this approach allows the model to explicitly express uncertainty when it lacks knowledge, while maintaining accuracy on questions it can answer. Furthermore, we propose evaluation metrics for uncertainty, showing that accurate discrimination between known and unknown instances consistently improves performance.
• Abstract（参考訳）: 大きな言語モデル(LLM)は多様なユーザクエリにまたがる強力な能力を示しているが、幻覚に悩まされている。 このミスアライメントに対処するために、マルチサンプル推論を用いて、きめ細かなインスタンスレベルの知識スコアを確実に推定する。 知識スコアを用いて、モデルの既存の知識に従って学習信号をスケールし、スコープ外クエリに対する明示的な"私は知らない"応答を奨励する。 実験結果から,このモデルでは,知識の欠如による不確実性を明確に表現すると同時に,回答可能な質問に対する正確性を維持することが可能であることが示唆された。 さらに,不確実性の評価指標を提案し,未知のインスタンスと未知のインスタンスの正確な識別が常に性能を向上させることを示す。

関連論文リスト

• Know More, Know Clearer: A Meta-Cognitive Framework for Knowledge Augmentation in Large Language Models [80.21037538996553]
  本稿では,異なる介入とアライメントによる信頼度向上のための新しいメタ認知フレームワークを提案する。 我々の手法は、知識空間をマスターされた、混乱した、行方不明な領域に分割し、対象とする知識拡大を導くために、内部認知信号を活用する。 我々のフレームワークは、知識能力の向上だけでなく、未知の知識をよりよく区別する認知行動の育成においても、その合理性を検証し、強いベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-02-13T15:07:35Z)
• Do LLMs Really Forget? Evaluating Unlearning with Knowledge Correlation and Confidence Awareness [46.653774740885275]
  大規模言語モデル(LLM)における意図しない記憶の軽減を目的とした機械学習手法 実世界の知識の暗黙構造をより正確に捉えた知識未学習評価フレームワークを提案する。 私たちのフレームワークは、未学習のパフォーマンスをより現実的で厳格に評価します。
  論文  参考訳（メタデータ） (2025-06-06T04:35:19Z)
• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
  本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
  論文  参考訳（メタデータ） (2024-02-17T02:54:32Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Knowledge of Knowledge: Exploring Known-Unknowns Uncertainty with Large Language Models [44.117620571329596]
  我々は,不確定な回答がないことによる不確実性の高さを特徴とする,未知の疑問に対処することに注力する。 研究を容易にするために,Known-Unknown Questions (KUQ) を用いた新しいデータセットを収集した。 本稿では、このデータセットを用いて微調整したオープンソースのLLMの性能について検討し、未知のクエリと未知のクエリを区別する。
  論文  参考訳（メタデータ） (2023-05-23T05:59:21Z)
• A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
  本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。 我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。 提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
  論文  参考訳（メタデータ） (2022-06-30T02:35:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。