論文の概要: Semantic Entropy Probes: Robust and Cheap Hallucination Detection in LLMs

• arxiv url: http://arxiv.org/abs/2406.15927v1
• Date: Sat, 22 Jun 2024 19:46:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 19:53:14.108008
• Title: Semantic Entropy Probes: Robust and Cheap Hallucination Detection in LLMs
• Title（参考訳）: セマンティックエントロピープローブ : LLMにおけるロバストおよびチープ幻覚検出
• Authors: Jannik Kossen, Jiatong Han, Muhammed Razzak, Lisa Schut, Shreshth Malik, Yarin Gal,
• Abstract要約: 幻覚は、大規模言語モデルの導入において大きな課題となる。 Farquhar et al. (2024) による最近の研究はセマンティックエントロピー (SE) を提案している。 本稿では, 単一世代の隠蔽状態から直接SEを近似するSEPを提案する。
• 参考スコア（独自算出の注目度）: 32.901839335074676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose semantic entropy probes (SEPs), a cheap and reliable method for uncertainty quantification in Large Language Models (LLMs). Hallucinations, which are plausible-sounding but factually incorrect and arbitrary model generations, present a major challenge to the practical adoption of LLMs. Recent work by Farquhar et al. (2024) proposes semantic entropy (SE), which can detect hallucinations by estimating uncertainty in the space semantic meaning for a set of model generations. However, the 5-to-10-fold increase in computation cost associated with SE computation hinders practical adoption. To address this, we propose SEPs, which directly approximate SE from the hidden states of a single generation. SEPs are simple to train and do not require sampling multiple model generations at test time, reducing the overhead of semantic uncertainty quantification to almost zero. We show that SEPs retain high performance for hallucination detection and generalize better to out-of-distribution data than previous probing methods that directly predict model accuracy. Our results across models and tasks suggest that model hidden states capture SE, and our ablation studies give further insights into the token positions and model layers for which this is the case.
• Abstract（参考訳）: 本研究では,Large Language Models (LLMs) における不確実性定量化手法である意味エントロピープローブ (SEPs) を提案する。 幻覚は、もっともらしい音質であるが、実際は誤りであり、任意のモデル世代である。 Farquhar et al (2024) による最近の研究で意味論的エントロピー (SE) が提案されている。 しかし、SE計算に伴う計算コストの5倍から10倍の増加は、実用化を妨げている。 この問題に対処するため,一世代の隠れ状態からSEを直接近似するSEPを提案する。 SEPは訓練が簡単で、テスト時に複数のモデル生成をサンプリングする必要がなく、セマンティックな不確実性定量化のオーバーヘッドをほぼゼロに減らす。 モデル精度を直接予測する従来の探索手法に比べて,SEPは幻覚検出の性能を保ち,分布外データに優れることを示す。 我々のモデルとタスクにわたる結果は、モデルが隠された状態がSEを捉えていることを示唆し、私たちのアブレーション研究はトークンの位置とモデル層についてさらなる洞察を与えます。

関連論文リスト

• Effort: Efficient Orthogonal Modeling for Generalizable AI-Generated Image Detection [66.16595174895802]
  既存のAI生成画像(AIGI)検出手法は、しばしば限定的な一般化性能に悩まされる。 本稿では、AIGI検出において、これまで見過ごされてきた重要な非対称性現象を同定する。
  論文  参考訳（メタデータ） (2024-11-23T19:10:32Z)
• Fine-Tuning Large Language Models to Appropriately Abstain with Semantic Entropy [31.05551799523973]
  大型言語モデル (LLM) は幻覚として知られており、妥当だが不正確なテキストを生成する。 この現象は、医学や法学などの重要な応用に重大なリスクをもたらし、堅牢な幻覚緩和戦略を必要とする。 本稿では,外部ラベルを必要としないモデルへのイントロスペクションから導出される不確実性尺度であるセマンティックエントロピーを用いた微調整を提案する。
  論文  参考訳（メタデータ） (2024-10-22T17:54:03Z)
• LoGU: Long-form Generation with Uncertainty Expressions [49.76417603761989]
  不確実性を伴う長文生成(LoGU)の課題について紹介する。 不確実性抑制と不確実性誤認の2つの主要な課題を特定します。 当社のフレームワークでは,原子的クレームに基づく不確実性を改善するため,分割・分散戦略を採用している。 提案手法が精度を向上し,幻覚を低減し,応答の包括性を維持できることを示す。
  論文  参考訳（メタデータ） (2024-10-18T09:15:35Z)
• REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy [93.8400683020273]
  大規模言語モデル(LLM)の復号法は通常、事実性の確保と多様性の維持のトレードオフに苦慮する。 核サンプリングにおける事実性および多様性を向上させる復号法であるREALサンプリングを提案する。
  論文  参考訳（メタデータ） (2024-06-11T21:44:49Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Quantifying Emergence in Large Language Models [31.608080868988825]
  LLMの出現を推定するための定量化ソリューションを提案する。 分子動力学における創発性に着想を得て, ミクロ(トケン)レベルのエントロピー低減とミクロ(セマンティック)レベルのエントロピー低減を比較して, 出現の強さを定量化する。 本手法は,テキスト内学習(ICL)と自然文の両方で,一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2024-05-21T09:12:20Z)
• Distributional Inclusion Hypothesis and Quantifications: Probing for Hypernymy in Functional Distributional Semantics [50.363809539842386]
  関数分布意味論(FDS)は、真理条件関数による単語の意味をモデル化する。 FDSモデルは分布包含仮説(DIH)に厳格に従う制限されたコーパスのクラスでハイパーネミーを学ぶことを示す。
  論文  参考訳（メタデータ） (2023-09-15T11:28:52Z)
• CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion Models [72.93652777646233]
  カモフラーゲ型物体検出(COD)は、カモフラーゲ型物体とその周囲の類似性が高いため、コンピュータビジョンにおいて難しい課題である。 本研究では,CODを拡散モデルを利用した条件付きマスク生成タスクとして扱う新しいパラダイムを提案する。 カモ拡散(CamoDiffusion)と呼ばれる本手法では,拡散モデルのデノナイズプロセスを用いてマスクの雑音を反復的に低減する。
  論文  参考訳（メタデータ） (2023-05-29T07:49:44Z)
• Lazy Estimation of Variable Importance for Large Neural Networks [22.95405462638975]
  そこで本研究では,重要な推論保証付き縮小モデルを高速かつフレキシブルに近似する手法を提案する。 いくつかのデータ生成体制下では,本手法が高速かつ正確であることを示し,季節風予報の例で実世界の適用性を示す。
  論文  参考訳（メタデータ） (2022-07-19T06:28:17Z)
• Statistics and Deep Learning-based Hybrid Model for Interpretable Anomaly Detection [0.0]
  ハイブリッド手法は、予測タスクと予測タスクの両方において、純粋統計的および純粋深層学習法より優れていることが示されている。 MES-LSTMは、これらの課題を克服する解釈可能な異常検出モデルである。
  論文  参考訳（メタデータ） (2022-02-25T14:17:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。