論文の概要: Semantic Entropy Probes: Robust and Cheap Hallucination Detection in LLMs

• arxiv url: http://arxiv.org/abs/2406.15927v1
• Date: Sat, 22 Jun 2024 19:46:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 19:53:14.108008
• Title: Semantic Entropy Probes: Robust and Cheap Hallucination Detection in LLMs
• Title（参考訳）: セマンティックエントロピープローブ : LLMにおけるロバストおよびチープ幻覚検出
• Authors: Jannik Kossen, Jiatong Han, Muhammed Razzak, Lisa Schut, Shreshth Malik, Yarin Gal,
• Abstract要約: 幻覚は、大規模言語モデルの導入において大きな課題となる。 Farquhar et al. (2024) による最近の研究はセマンティックエントロピー (SE) を提案している。 本稿では, 単一世代の隠蔽状態から直接SEを近似するSEPを提案する。
• 参考スコア（独自算出の注目度）: 32.901839335074676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose semantic entropy probes (SEPs), a cheap and reliable method for uncertainty quantification in Large Language Models (LLMs). Hallucinations, which are plausible-sounding but factually incorrect and arbitrary model generations, present a major challenge to the practical adoption of LLMs. Recent work by Farquhar et al. (2024) proposes semantic entropy (SE), which can detect hallucinations by estimating uncertainty in the space semantic meaning for a set of model generations. However, the 5-to-10-fold increase in computation cost associated with SE computation hinders practical adoption. To address this, we propose SEPs, which directly approximate SE from the hidden states of a single generation. SEPs are simple to train and do not require sampling multiple model generations at test time, reducing the overhead of semantic uncertainty quantification to almost zero. We show that SEPs retain high performance for hallucination detection and generalize better to out-of-distribution data than previous probing methods that directly predict model accuracy. Our results across models and tasks suggest that model hidden states capture SE, and our ablation studies give further insights into the token positions and model layers for which this is the case.
• Abstract（参考訳）: 本研究では,Large Language Models (LLMs) における不確実性定量化手法である意味エントロピープローブ (SEPs) を提案する。 幻覚は、もっともらしい音質であるが、実際は誤りであり、任意のモデル世代である。 Farquhar et al (2024) による最近の研究で意味論的エントロピー (SE) が提案されている。 しかし、SE計算に伴う計算コストの5倍から10倍の増加は、実用化を妨げている。 この問題に対処するため,一世代の隠れ状態からSEを直接近似するSEPを提案する。 SEPは訓練が簡単で、テスト時に複数のモデル生成をサンプリングする必要がなく、セマンティックな不確実性定量化のオーバーヘッドをほぼゼロに減らす。 モデル精度を直接予測する従来の探索手法に比べて,SEPは幻覚検出の性能を保ち,分布外データに優れることを示す。 我々のモデルとタスクにわたる結果は、モデルが隠された状態がSEを捉えていることを示唆し、私たちのアブレーション研究はトークンの位置とモデル層についてさらなる洞察を与えます。

関連論文リスト

• HuDEx: Integrating Hallucination Detection and Explainability for Enhancing the Reliability of LLM responses [0.12499537119440242]
  本稿では,HuDExと命名された幻覚検出モデルについて説明する。 提案モデルでは,検出を説明と統合する新たなアプローチを提供し,ユーザとLLM自体がエラーを理解し,低減することができる。
  論文  参考訳（メタデータ） (2025-02-12T04:17:02Z)
• Enhancing Hallucination Detection through Noise Injection [9.582929634879932]
  大型言語モデル(LLM)は、幻覚として知られる、もっとも不正確な応答を生成する傾向にある。 ベイズ感覚のモデル不確実性を考慮し,検出精度を著しく向上できることを示す。 サンプリング中にモデルパラメータの適切なサブセット、あるいは等価に隠されたユニットアクティベーションを摂動する、非常に単純で効率的なアプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-06T06:02:20Z)
• AutoElicit: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  我々はAutoElicitを導入し、大規模言語モデルから知識を抽出し、予測モデルのための事前構築を行う。 これらの先行情報は情報的であり、自然言語を用いて洗練できることを示す。 AutoElicitは、非形式的な事前よりもエラーを大幅に減らし、ラベルを減らし、コンテクスト内学習を一貫して上回ります。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• Fine-Tuning Large Language Models to Appropriately Abstain with Semantic Entropy [31.05551799523973]
  大型言語モデル (LLM) は幻覚として知られており、妥当だが不正確なテキストを生成する。 この現象は、医学や法学などの重要な応用に重大なリスクをもたらし、堅牢な幻覚緩和戦略を必要とする。 本稿では,外部ラベルを必要としないモデルへのイントロスペクションから導出される不確実性尺度であるセマンティックエントロピーを用いた微調整を提案する。
  論文  参考訳（メタデータ） (2024-10-22T17:54:03Z)
• LoGU: Long-form Generation with Uncertainty Expressions [49.76417603761989]
  不確実性を伴う長文生成(LoGU)の課題について紹介する。 不確実性抑制と不確実性誤認の2つの主要な課題を特定します。 当社のフレームワークでは,原子的クレームに基づく不確実性を改善するため,分割・分散戦略を採用している。 提案手法が精度を向上し,幻覚を低減し,応答の包括性を維持できることを示す。
  論文  参考訳（メタデータ） (2024-10-18T09:15:35Z)
• REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy [93.8400683020273]
  大規模言語モデル(LLM)の復号法は通常、事実性の確保と多様性の維持のトレードオフに苦慮する。 核サンプリングにおける事実性および多様性を向上させる復号法であるREALサンプリングを提案する。
  論文  参考訳（メタデータ） (2024-06-11T21:44:49Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Distributional Inclusion Hypothesis and Quantifications: Probing for Hypernymy in Functional Distributional Semantics [50.363809539842386]
  関数分布意味論(FDS)は、真理条件関数による単語の意味をモデル化する。 FDSモデルは分布包含仮説(DIH)に厳格に従う制限されたコーパスのクラスでハイパーネミーを学ぶことを示す。
  論文  参考訳（メタデータ） (2023-09-15T11:28:52Z)
• CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion Models [72.93652777646233]
  カモフラーゲ型物体検出(COD)は、カモフラーゲ型物体とその周囲の類似性が高いため、コンピュータビジョンにおいて難しい課題である。 本研究では,CODを拡散モデルを利用した条件付きマスク生成タスクとして扱う新しいパラダイムを提案する。 カモ拡散(CamoDiffusion)と呼ばれる本手法では,拡散モデルのデノナイズプロセスを用いてマスクの雑音を反復的に低減する。
  論文  参考訳（メタデータ） (2023-05-29T07:49:44Z)
• Lazy Estimation of Variable Importance for Large Neural Networks [22.95405462638975]
  そこで本研究では,重要な推論保証付き縮小モデルを高速かつフレキシブルに近似する手法を提案する。 いくつかのデータ生成体制下では,本手法が高速かつ正確であることを示し,季節風予報の例で実世界の適用性を示す。
  論文  参考訳（メタデータ） (2022-07-19T06:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。