論文の概要: Retrieval Augmented Question Answering: When Should LLMs Admit Ignorance?

• arxiv url: http://arxiv.org/abs/2512.23836v1
• Date: Mon, 29 Dec 2025 19:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.196103
• Title: Retrieval Augmented Question Answering: When Should LLMs Admit Ignorance?
• Title（参考訳）: LLMはいつ無視を許容すべきか?
• Authors: Dingmin Wang, Ji Ma, Shankar Kumar,
• Abstract要約: 長いコンテキストは、モデルの生成プロセスを妨げ、その性能を低下させる、より無関係な情報をもたらす。 我々は,検索した情報を小さなチャンクに分割し,LCMに質問への回答を促す適応的プロンプト戦略を設計する。 3つのオープンドメイン質問応答データセットの実験結果は、適応戦略が標準プロンプトの性能と一致することを示す。
• 参考スコア（独自算出の注目度）: 13.893751277489294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of expanded context windows in Large Language Models (LLMs) has driven increased use of broader context in retrieval-augmented generation. We investigate the use of LLMs for retrieval augmented question answering. While longer contexts make it easier to incorporate targeted knowledge, they introduce more irrelevant information that hinders the model's generation process and degrades its performance. To address the issue, we design an adaptive prompting strategy which involves splitting the retrieved information into smaller chunks and sequentially prompting a LLM to answer the question using each chunk. Adjusting the chunk size allows a trade-off between incorporating relevant information and reducing irrelevant information. Experimental results on three open-domain question answering datasets demonstrate that the adaptive strategy matches the performance of standard prompting while using fewer tokens. Our analysis reveals that when encountering insufficient information, the LLM often generates incorrect answers instead of declining to respond, which constitutes a major source of error. This finding highlights the need for further research into enhancing LLMs' ability to effectively decline requests when faced with inadequate information.
• Abstract（参考訳）: LLM(Large Language Models)における拡張コンテキストウィンドウの成功は、検索強化世代におけるより広範なコンテキストの利用を促進させた。 拡張質問応答の検索におけるLLMの使用について検討する。 より長いコンテキストは、対象とする知識を取り入れやすくするが、モデルの生成プロセスを妨げ、パフォーマンスを低下させる、より無関係な情報を導入する。 この問題に対処するために,検索した情報を小さなチャンクに分割し,各チャンクを用いてLCMに質問に答えるよう順次促す適応的プロンプト戦略を設計する。 チャンクサイズを調整することで、関連する情報を統合することと、無関係な情報を減らすことのトレードオフが可能になる。 3つのオープンドメイン質問応答データセットの実験的結果は、適応戦略がトークンを減らしながら標準プロンプトのパフォーマンスと一致することを示した。 我々の分析では、不十分な情報に遭遇すると、LLMは応答が低下する代わりに、しばしば誤った回答を発生し、大きなエラーの原因となることが判明した。 この発見は、不十分な情報に直面した場合の要求を効果的に減らすLLMの能力を強化するためのさらなる研究の必要性を浮き彫りにする。

関連論文リスト

• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Sufficient Context: A New Lens on Retrieval Augmented Generation Systems [19.238772793096473]
  LLMをコンテキストで拡張すると、多くのアプリケーションのパフォーマンスが向上する。 我々は、クエリに答える十分な情報を持つインスタンスを分類すると共に、十分なコンテキストという新しい概念を開発する。 文脈充足度に基づく誤りの階層化により,コンテキストが十分であれば,より高いベースライン性能を持つ大規模モデルの方がクエリの応答に優れることがわかった。
  論文  参考訳（メタデータ） (2024-11-09T02:13:14Z)
• When to Retrieve: Teaching LLMs to Utilize Information Retrieval Effectively [3.705145020383824]
  本稿では,Large Language Models (LLMs) が,与えられた質問に答えるために追加のコンテキストを必要とする場合に,既製の情報検索(IR)システムを使用する方法を示す。
  論文  参考訳（メタデータ） (2024-04-30T16:52:55Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Investigating Answerability of LLMs for Long-Form Question Answering [35.41413072729483]
  実用的で影響力のある応用がいくつかあるので、長文質問応答(LFQA)に焦点を当てる。 本稿では,要約の要約から質問生成手法を提案し,長い文書の要約からフォローアップ質問を生成することで,困難な設定を実現できることを示す。
  論文  参考訳（メタデータ） (2023-09-15T07:22:56Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。