論文の概要: Hallucinations Undermine Trust; Metacognition is a Way Forward

• arxiv url: http://arxiv.org/abs/2605.01428v1
• Date: Sat, 02 May 2026 12:59:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.767482
• Title: Hallucinations Undermine Trust; Metacognition is a Way Forward
• Title（参考訳）: 幻覚は信頼を弱める; メタ認知は先進的な方法である
• Authors: Gal Yona, Mor Geva, Yossi Matias,
• Abstract要約: 事実の信頼性が著しく向上しているにもかかわらず、しばしば幻覚と呼ばれるエラーは、生成的AIにとって大きな関心事である。 我々は、この領域におけるほとんどの事実性は、モデルの知識境界を広げることによって得られると論じている。 言語的不確実性と本質的不確実性とを整合させるという忠実な不確実性を提案する。
• 参考スコア（独自算出の注目度）: 36.173804474959915
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite significant strides in factual reliability, errors -- often termed hallucinations -- remain a major concern for generative AI, especially as LLMs are increasingly expected to be helpful in more complex or nuanced setups. Yet even in the simplest setting -- factoid question-answering with clear ground truth-frontier models without external tools continue to hallucinate. We argue that most factuality gains in this domain have come from expanding the model's knowledge boundary (encoding more facts) rather than improving awareness of that boundary (distinguishing known from unknown). We conjecture that the latter is inherently difficult: models may lack the discriminative power to perfectly separate truths from errors, creating an unavoidable tradeoff between eliminating hallucinations and preserving utility. This tradeoff dissolves under a different framing. If we understand hallucinations as confident errors -- incorrect information delivered without appropriate qualification -- a third path emerges beyond the answer-or-abstain dichotomy: expressing uncertainty. We propose faithful uncertainty: aligning linguistic uncertainty with intrinsic uncertainty. This is one facet of metacognition -- the ability to be aware of one's own uncertainty and to act on it. For direct interaction, acting on uncertainty means communicating it honestly; for agentic systems, it becomes the control layer governing when to search and what to trust. Metacognition is thus essential for LLMs to be both trustworthy and capable; we conclude by highlighting open problems for progress towards this objective.
• Abstract（参考訳）: 事実の信頼性が著しく向上しているにもかかわらず、エラー(しばしば幻覚と呼ばれる)は、生成AIにとって大きな関心事であり続けており、特にLSMはより複雑またはニュアンスな設定で役に立つと期待されている。 しかし、最も単純な環境でも、外部ツールを使わずに、明確な真理最前線モデルでファクトイックな質問に対する答えは幻覚し続けています。 我々は、この領域におけるほとんどの事実性は、その境界に対する認識を改善するのではなく、モデルの知識境界(より多くの事実をエンコードする)を拡大することによるものであると主張している。 モデルには誤りから真理を完全に分離する識別力がなく、幻覚の排除と実用性を維持するための不可避のトレードオフが生じる可能性がある。 このトレードオフは異なるフレーミングの下で解消される。 もし、幻覚を自信のある誤り(適切な資格のない誤った情報)として理解すれば、第3の経路は解答または確固たる二分法を越えて現れ、不確実性を表現する。 言語的不確実性と本質的不確実性とを整合させるという忠実な不確実性を提案する。 これはメタ認知の1つの側面であり、自分の不確実性を認識して行動する能力である。 直接的なインタラクションでは、不確実性に対処することは正直にコミュニケーションすることであり、エージェントシステムでは、いつ検索するか、何を信頼するかを決定するコントロール層になる。 したがって、メタ認知はLLMにとって信頼性と能力の両方に欠かせないものであり、我々はこの目的に向かって進むためのオープンな問題を強調することによって結論付ける。

関連論文リスト

• Detecting Misbehaviors of Large Vision-Language Models by Evidential Uncertainty Quantification [27.02252748004729]
  大規模視覚言語モデル(LVLM)は多モーダル理解と生成において大きな進歩を見せている。 彼らはしばしば、事実幻覚や危険な指示など、信頼できない、あるいは有害な内容を生み出す。 Evidential Uncertainty Quantification (EUQ)は、LVLMの誤動作を効果的に検出するための情報競合と無知の両方をキャプチャする。
  論文  参考訳（メタデータ） (2026-02-05T10:51:39Z)
• Two Pathways to Truthfulness: On the Intrinsic Encoding of LLM Hallucinations [70.43616821802249]
  大型言語モデル(LLM)は幻覚を頻繁に生成する。 以前の研究は、彼らの内部状態が真実性の豊かなシグナルを符号化していることを示している。 本稿では,2つの異なる情報経路から真理性の手がかりが生じることを示す。
  論文  参考訳（メタデータ） (2026-01-12T11:10:43Z)
• Beyond Hallucinations: The Illusion of Understanding in Large Language Models [0.0]
  大規模言語モデル(LLM)は、人間のコミュニケーションや意思決定に深く浸透している。 彼らはあいまいさ、偏見、言語自体に固有の真理への直接アクセスの欠如を継承する。 本稿は,LLMがシステム1認知を大規模に運用する,高速,連想的,説得的だが,反射やファルシフィケーションは行わない,と論じる。
  論文  参考訳（メタデータ） (2025-10-16T13:19:44Z)
• Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations [51.92795774118647]
  LLMの表現空間における1つの線形特徴によって「動詞の不確実性」が支配されることがわかった。 これはモデルの実際の意味的不確実性と適度な相関しか持たないことを示す。
  論文  参考訳（メタデータ） (2025-03-18T17:51:04Z)
• Delusions of Large Language Models [62.43923767408462]
  大規模言語モデルは、しばしば幻覚として知られる、事実的に間違っているが、もっともらしい出力を生成する。 高信頼幻覚と定義され、不正確な出力を異常に高い信頼性で検出し、緩和することが難しくなる、より惨めな現象であるLSM妄想を識別する。
  論文  参考訳（メタデータ） (2025-03-09T17:59:16Z)
• Trust Me, I'm Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer [51.7407540261676]
  本研究では,モデルが常に正しい解答を行うことのできる幻覚の別のタイプについて検討するが,一見自明な摂動は,高い確実性で幻覚応答を生じさせる。 この現象は特に医学や法学などの高度な領域において、モデルの確実性はしばしば信頼性の代用として使用される。 CHOKEの例は、プロンプト間で一貫性があり、異なるモデルやデータセットで発生し、他の幻覚と根本的に異なることを示す。
  論文  参考訳（メタデータ） (2025-02-18T15:46:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。