論文の概要: Do Retrieval Augmented Language Models Know When They Don't Know?

• arxiv url: http://arxiv.org/abs/2509.01476v1
• Date: Mon, 01 Sep 2025 13:44:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.722944
• Title: Do Retrieval Augmented Language Models Know When They Don't Know?
• Title（参考訳）: Retrieval Augmented Language Modelsはいつ知らないのか?
• Authors: Youchao Zhou, Heyan Huang, Yicheng Liu, Rui Dai, Xinglin Wang, Xingchen Zhang, Shumin Shi, Yang Deng,
• Abstract要約: ALMはいつ知らないのか知っていますか? 期待とは対照的に, LLM は有意なテキストバッファー-拒否行動を示す。 提案手法は, 学習後モデルに対する簡易かつ効果的な拒絶手法を開発し, 解答品質を向上する。
• 参考スコア（独自算出の注目度）: 55.72375712577378
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Existing Large Language Models (LLMs) occasionally generate plausible yet factually incorrect responses, known as hallucinations. Researchers are primarily using two approaches to mitigate hallucinations, namely Retrieval Augmented Language Models (RALMs) and refusal post-training. However, current research predominantly emphasizes their individual effectiveness while overlooking the evaluation of the refusal capability of RALMs. In this study, we ask the fundamental question: Do RALMs know when they don't know? Specifically, we ask three questions. First, are RALMs well-calibrated regarding different internal and external knowledge states? We examine the influence of various factors. Contrary to expectations, we find that LLMs exhibit significant \textbf{over-refusal} behavior. Then, how does refusal post-training affect the over-refusal issue? We investigate the Refusal-aware Instruction Tuning and In-Context Fine-tuning methods. Our results show that the over-refusal problem is mitigated by In-context fine-tuning. but magnified by R-tuning. However, we also find that the refusal ability may conflict with the quality of the answer. Finally, we develop a simple yet effective refusal method for refusal post-trained models to improve their overall answer quality in terms of refusal and correct answers. Our study provides a more comprehensive understanding of the influence of important factors on RALM systems.
• Abstract（参考訳）: 既存のLarge Language Models (LLMs) は時折、幻覚(幻覚)として知られる、真に正しくない応答を生成する。 研究者は主に幻覚を緩和する2つのアプローチ、すなわちRetrieval Augmented Language Models (RALMs) とRetrieval Post-training(英語版)の2つを使っている。 しかし、現在の研究は、ALMの拒絶能力の評価を見越しながら、個々の効果を主に強調している。 ALMはいつ、自分が知らないのかを知っていますか? 具体的には3つの質問をします。 まず、ALMは内部と外部の異なる知識状態についてよく校正されているか? 各種要因の影響について検討する。 期待とは対照的に, LLM は有意な \textbf{over-refusal} な振る舞いを示す。 では、ポストトレーニングの拒絶は、オーバートレーニングの問題にどのように影響しますか? 本稿では,Refusal-aware Instruction Tuning法とIn-Context Fine-tuning法について検討する。 以上の結果から,インコンテクストの微調整によりオーバーリファインの問題が緩和されることが示唆された。 しかし、Rチューニングによって拡大します。 しかし、拒絶能力は答えの質と矛盾する可能性があることも判明した。 最後に,リファインダーモデルに対する簡易かつ効果的なリファインダー手法を開発し,リファインダーと正解の両面から全体の回答品質を改善する。 本研究は、ALMシステムに対する重要な要因の影響について、より包括的な理解を提供する。

関連論文リスト

• Utilize the Flow before Stepping into the Same River Twice: Certainty Represented Knowledge Flow for Refusal-Aware Instruction Tuning [68.57166425493283]
  Refusal-Aware Instruction Tuning (RAIT) により、Large Language Models (LLM) は未知の質問に答えることを拒否できる。 この粗末なアプローチは、LLMが正しく答えられる可能性のある質問に答えることを過剰に拒否する可能性がある。 本稿では,CRaFT(Certainty Represented Knowledge Flow for Refusal-Aware Instructions Tuning)を提案する。
  論文  参考訳（メタデータ） (2024-10-09T14:12:51Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。