論文の概要: Do Retrieval Augmented Language Models Know When They Don't Know?

• arxiv url: http://arxiv.org/abs/2509.01476v2
• Date: Fri, 19 Sep 2025 12:43:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 14:11:07.214158
• Title: Do Retrieval Augmented Language Models Know When They Don't Know?
• Title（参考訳）: Retrieval Augmented Language Modelsはいつ知らないのか?
• Authors: Youchao Zhou, Heyan Huang, Yicheng Liu, Rui Dai, Xinglin Wang, Xingchen Zhang, Shumin Shi, Yang Deng,
• Abstract要約: ALMはいつ知らないのか知っていますか? 期待とは対照的に, LLM は有意なテキストバッファー-拒否行動を示す。 提案手法は, 学習後モデルに対する簡易かつ効果的な拒絶手法を開発し, 解答品質を向上する。
• 参考スコア（独自算出の注目度）: 55.72375712577378
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Existing Large Language Models (LLMs) occasionally generate plausible yet factually incorrect responses, known as hallucinations. Researchers are primarily using two approaches to mitigate hallucinations, namely Retrieval Augmented Language Models (RALMs) and refusal post-training. However, current research predominantly emphasizes their individual effectiveness while overlooking the evaluation of the refusal capability of RALMs. In this study, we ask the fundamental question: Do RALMs know when they don't know? Specifically, we ask three questions. First, are RALMs well-calibrated regarding different internal and external knowledge states? We examine the influence of various factors. Contrary to expectations, we find that LLMs exhibit significant \textbf{over-refusal} behavior. Then, how does refusal post-training affect the over-refusal issue? We investigate the Refusal-aware Instruction Tuning and In-Context Fine-tuning methods. Our results show that the over-refusal problem is mitigated by In-context fine-tuning. but magnified by R-tuning. However, we also find that the refusal ability may conflict with the quality of the answer. Finally, we develop a simple yet effective refusal method for refusal post-trained models to improve their overall answer quality in terms of refusal and correct answers. Our study provides a more comprehensive understanding of the influence of important factors on RALM systems.
• Abstract（参考訳）: 既存のLarge Language Models (LLMs) は時折、幻覚(幻覚)として知られる、真に正しくない応答を生成する。 研究者は主に幻覚を緩和する2つのアプローチ、すなわちRetrieval Augmented Language Models (RALMs) とRetrieval Post-training(英語版)の2つを使っている。 しかし、現在の研究は、ALMの拒絶能力の評価を見越しながら、個々の効果を主に強調している。 ALMはいつ、自分が知らないのかを知っていますか? 具体的には3つの質問をします。 まず、ALMは内部と外部の異なる知識状態についてよく校正されているか? 各種要因の影響について検討する。 期待とは対照的に, LLM は有意な \textbf{over-refusal} な振る舞いを示す。 では、ポストトレーニングの拒絶は、オーバートレーニングの問題にどのように影響しますか? 本稿では,Refusal-aware Instruction Tuning法とIn-Context Fine-tuning法について検討する。 以上の結果から,インコンテクストの微調整によりオーバーリファインの問題が緩和されることが示唆された。 しかし、Rチューニングによって拡大します。 しかし、拒絶能力は答えの質と矛盾する可能性があることも判明した。 最後に,リファインダーモデルに対する簡易かつ効果的なリファインダー手法を開発し,リファインダーと正解の両面から全体の回答品質を改善する。 本研究は、ALMシステムに対する重要な要因の影響について、より包括的な理解を提供する。

関連論文リスト

• Can Reasoning Help Large Language Models Capture Human Annotator Disagreement? [84.32752330104775]
  ヒトのアノテーションの変化(つまり不一致)は、NLPでは一般的である。 異なる推論条件が大言語モデルの不一致モデルに与える影響を評価する。 意外なことに、RLVRスタイルの推論は不一致モデリングにおいて性能を低下させる。
  論文  参考訳（メタデータ） (2025-06-24T09:49:26Z)
• Answer-Centric or Reasoning-Driven? Uncovering the Latent Memory Anchor in LLMs [28.556628696390767]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 彼らの成功の多くは、真の推論よりも、暗記された回答推論パターンに起因している、とエビデンスは示唆している。 本稿では, 応答キューを体系的に操作し, 間接的, 行動解析によるモデル行動の探索を行う5段階の応答可視プロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-21T08:15:45Z)
• Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies [66.30619782227173]
  大規模言語モデル(LLMs)は、流動的で説得力のある誤った応答を生成することができる。 ユーザの信頼を形作るLCM応答のいくつかの特徴を同定する。 説明は正しい応答と誤応答の両方に依存することが判明した。 情報源が提供された場合や説明が矛盾している場合の誤った応答への依存度は低い。
  論文  参考訳（メタデータ） (2025-02-12T16:35:41Z)
• Utilize the Flow before Stepping into the Same River Twice: Certainty Represented Knowledge Flow for Refusal-Aware Instruction Tuning [68.57166425493283]
  Refusal-Aware Instruction Tuning (RAIT) により、Large Language Models (LLM) は未知の質問に答えることを拒否できる。 この粗末なアプローチは、LLMが正しく答えられる可能性のある質問に答えることを過剰に拒否する可能性がある。 本稿では,CRaFT(Certainty Represented Knowledge Flow for Refusal-Aware Instructions Tuning)を提案する。
  論文  参考訳（メタデータ） (2024-10-09T14:12:51Z)
• When Hindsight is Not 20/20: Testing Limits on Reflective Thinking in Large Language Models [15.781930031346105]
  自己回帰はTrthfulQAのパフォーマンスを高めるが、HotpotQAの結果に悪影響を及ぼす。 自己回帰は、モデルが最初は正しくない可能性が低く、全体的な疑問の難しさが高い場合に最も有益であることが分かる。 そこで本研究では,自己回帰の実施時期を判断するためのガイドラインを提案する。
  論文  参考訳（メタデータ） (2024-04-14T02:47:32Z)
• When Do LLMs Need Retrieval Augmentation? Mitigating LLMs' Overconfidence Helps Retrieval Augmentation [66.01754585188739]
  大規模言語モデル(LLM)は、特定の知識を持っていないことを知るのが困難であることが判明した。 Retrieval Augmentation (RA)はLLMの幻覚を緩和するために広く研究されている。 本稿では,LLMの知識境界に対する認識を高めるためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2024-02-18T04:57:19Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。