論文の概要: Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations

• arxiv url: http://arxiv.org/abs/2503.14477v1
• Date: Tue, 18 Mar 2025 17:51:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:16:38.363577
• Title: Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations
• Title（参考訳）: 幻覚を抑える線形特徴としての言語不確かさの校正
• Authors: Ziwei Ji, Lei Yu, Yeskendir Koishekenov, Yejin Bang, Anthony Hartshorn, Alan Schelten, Cheng Zhang, Pascale Fung, Nicola Cancedda,
• Abstract要約: LLMの表現空間における1つの線形特徴によって「動詞の不確実性」が支配されることがわかった。 これはモデルの実際の意味的不確実性と適度な相関しか持たないことを示す。
• 参考スコア（独自算出の注目度）: 51.92795774118647
• License:
• Abstract: LLMs often adopt an assertive language style also when making false claims. Such ``overconfident hallucinations'' mislead users and erode trust. Achieving the ability to express in language the actual degree of uncertainty around a claim is therefore of great importance. We find that ``verbal uncertainty'' is governed by a single linear feature in the representation space of LLMs, and show that this has only moderate correlation with the actual ``semantic uncertainty'' of the model. We apply this insight and show that (1) the mismatch between semantic and verbal uncertainty is a better predictor of hallucinations than semantic uncertainty alone and (2) we can intervene on verbal uncertainty at inference time and reduce hallucinations on short-form answers, achieving an average relative reduction of 32%.
• Abstract（参考訳）: LLMは、しばしば偽りの主張を行う際にもアサーティブな言語スタイルを採用する。 このような「過信の幻覚」は、誤解を招き、信頼を損なう。 したがって、クレームに関する実際の不確実性の程度を言語で表現できる能力は、非常に重要である。 言語不確実性」は LLM の表現空間における1つの線型特徴によって支配され、これはモデルの実際の `semantic uncertainty'' と中程度の相関しか持たないことを示す。 この知見を適用し,(1)意味的不確実性と動詞的不確実性とのミスマッチは,意味的不確実性単独よりも幻覚の予測因子として優れていること,(2)推測時に言語的不確実性に介入し,短文回答に対する幻覚を減少させ,平均相対的な32%の減少を達成すること,を示す。

関連論文リスト

• Enhancing Uncertainty Modeling with Semantic Graph for Hallucination Detection [46.930149191121416]
  大規模言語モデル(LLM)は、非事実的あるいは不誠実な文で幻覚を起こす傾向がある。 本稿では,幻覚検出のための意味グラフを用いた不確実性モデリング手法を提案する。
  論文  参考訳（メタデータ） (2025-01-02T16:45:05Z)
• Confabulation: The Surprising Value of Large Language Model Hallucinations [0.7249731529275342]
  ナラティビティを認知的資源として活用するために,LLMのコミュニケーションの計測可能な意味的特性は,人間の正当性を反映している,と我々は主張する。 この発見は、通常、非難の否定的な理解の中で緊張を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-06-06T15:32:29Z)
• Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities [79.9629927171974]
  大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。 ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:42:05Z)
• "I'm Not Sure, But...": Examining the Impact of Large Language Models' Uncertainty Expression on User Reliance and Trust [51.542856739181474]
  不確実性の自然言語表現の違いが、参加者の信頼、信頼、全体的なタスクパフォーマンスにどのように影響するかを示す。 その結果, 一人称表情は, 参加者のシステムに対する信頼度を低下させ, 参加者の正確性を高めつつ, システムの回答に同調する傾向にあることがわかった。 以上の結果から,不確実性の自然言語表現の使用は,LLMの過度な依存を軽減するための効果的なアプローチである可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-01T16:43:55Z)
• Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations [63.330182403615886]
  大きな言語モデル(LLM)の実践的デプロイに対する大きな障壁は、信頼性の欠如である。 このことが特に顕著な3つの状況は、正しさ、未解決の質問に対する幻覚、安全性である。 人間のように、不確実性を理解する能力があるため、私たちが知らない質問への答えを控えるべきです。
  論文  参考訳（メタデータ） (2024-04-16T23:56:38Z)
• In-Context Sharpness as Alerts: An Inner Representation Perspective for Hallucination Mitigation [36.31646727970656]
  大規模言語モデル(LLM)は、しばしば幻覚を起こし、事実の誤りを引き起こす。 正しい世代は、不正な世代に比べて、コンテキスト内のトークンの隠された状態において、よりシャープなコンテキストアクティベーションを持つ傾向がある。 本研究では,テキスト内隠れ状態のシャープネス'を定量化し,デコード処理に組み込むエントロピーに基づく計量法を提案する。
  論文  参考訳（メタデータ） (2024-03-03T15:53:41Z)
• On Hallucination and Predictive Uncertainty in Conditional Language Generation [76.18783678114325]
  高い予測の不確実性は幻覚の確率が高い。 認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。 提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
  論文  参考訳（メタデータ） (2021-03-28T00:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。