論文の概要: Can LLMs Take Retrieved Information with a Grain of Salt?

• arxiv url: http://arxiv.org/abs/2605.06919v1
• Date: Thu, 07 May 2026 20:29:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.607331
• Title: Can LLMs Take Retrieved Information with a Grain of Salt?
• Title（参考訳）: LLMは塩分で回収できるのか?
• Authors: Behzad Shayegh, Mohamed Osama Ahmed, Fred Tung, Leo Feng,
• Abstract要約: 検索された情報の確実性に適切に対応できる大規模言語モデルの能力は、過小評価されている。 医学や金融などの高額な領域において、本当の結果の限界である。 本研究は,8つのLCMを文脈確度順応性に基づいて評価し,一致した文脈確度に対する応答の調整精度を測定した。
• 参考スコア（独自算出の注目度）: 10.805155421027232
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models have demonstrated impressive retrieval-augmented capabilities. However, a crucial area remains underexplored: their ability to appropriately adapt responses to the certainty of the retrieved information. It is a limitation with real consequences in high-stakes domains like medicine and finance. We evaluate eight LLMs on their context-certainty obedience, measuring how well they adjust responses to match expressed context certainty. Our analysis reveals systematic limitations: LLMs struggle to recall prior knowledge after observing an uncertain context, misinterpret expressed certainties, and overtrust complex contexts. To address these, we propose an interaction strategy combining prior reminders, certainty recalibration, and context simplification. This approach reduces obedience errors by 25% on average, without modifying model weights, demonstrating the efficacy of interaction design in enhancing LLM reliability. Our contributions include a principled evaluation metric, empirical insights into LLMs' uncertainty handling, and a portable strategy to improve context-certainty obedience across diverse LLMs.
• Abstract（参考訳）: 大規模な言語モデルは、驚くべき検索拡張機能を示している。 しかし、検索された情報の確実性に応じて適切に対応できるという点において、重要な領域は未探索のままである。 医学や金融などの高額な領域において、本当の結果の限界である。 本研究は,8つのLCMを文脈確度順応性に基づいて評価し,一致した文脈確度に対する応答の調整精度を測定した。 LLMは、不確実な文脈を観察した後、事前の知識を思い出すのに苦労し、不確かさを誤って解釈し、複雑なコンテキストを過度に信頼する。 そこで本稿では,事前のリマインダー,確実性の再検討,コンテキストの単純化を併用したインタラクション戦略を提案する。 モデル重みを変更することなく, 平均で服従誤差を25%削減し, LLM信頼性を高めるための相互作用設計の有効性を実証した。 コントリビューションには、原則的評価基準、LLMの不確実性処理に関する経験的洞察、多種多様なLLMにおけるコンテキスト確実性順応性を改善するためのポータブル戦略が含まれる。

関連論文リスト

• Is Factuality Enhancement a Free Lunch For LLMs? Better Factuality Can Lead to Worse Context-Faithfulness [39.74642729786543]
  我々は、現在の事実性向上手法は、大規模言語モデル(LLM)の文脈忠実性を著しく損なう可能性があると論じている。 実験の結果、これらの手法は事実の正確性に矛盾する改善をもたらす可能性があるが、文脈不信感の低下も引き起こすことが明らかとなった。
  論文  参考訳（メタデータ） (2024-03-30T02:08:28Z)
• Benchmarking LLMs via Uncertainty Quantification [91.72588235407379]
  オープンソースのLarge Language Models(LLM)の普及は、包括的な評価方法の緊急の必要性を強調している。 我々は不確実性定量化を統合した LLM のための新しいベンチマーク手法を提案する。 以上の結果より, 精度の高いLSMでは, 精度が低下する可能性があり, II) より大規模なLSMでは, より小型のLSMに比べて不確実性が高いこと, III) 命令ファインタニングではLCMの不確実性が高くなる傾向が示唆された。
  論文  参考訳（メタデータ） (2024-01-23T14:29:17Z)
• Examining LLMs' Uncertainty Expression Towards Questions Outside Parametric Knowledge [35.067234242461545]
  大規模言語モデル(LLM)は、適切な応答を生成するのに十分なパラメトリック知識が不足している状況において不確実性を表現する。 本研究の目的は,このような状況下でのLCMの行動の体系的調査であり,誠実さと役に立つことのトレードオフを強調することである。
  論文  参考訳（メタデータ） (2023-11-16T10:02:40Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Shifting Attention to Relevance: Towards the Predictive Uncertainty Quantification of Free-Form Large Language Models [27.491408293411734]
  大規模言語モデル(LLM)は、言語生成と命令の後に有望な結果を示すが、しばしば「ハロシン化」を示す。 我々の研究は単純な冗長性を導入している: 自動回帰テキストのすべてのトークンが、基礎となる意味を等しく表しているわけではない。
  論文  参考訳（メタデータ） (2023-07-03T22:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。