論文の概要: SAC$^3$: Reliable Hallucination Detection in Black-Box Language Models via Semantic-aware Cross-check Consistency

• arxiv url: http://arxiv.org/abs/2311.01740v1
• Date: Fri, 3 Nov 2023 06:32:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-06 14:58:43.234722
• Title: SAC$^3$: Reliable Hallucination Detection in Black-Box Language Models via Semantic-aware Cross-check Consistency
• Title（参考訳）: sac$^3$ : semantic-aware cross-check consistency によるブラックボックス言語モデルの信頼性の高い幻覚検出
• Authors: Jiaxin Zhang, Zhuohang Li, Kamalika Das, Bradley A. Malin, Sricharan Kumar
• Abstract要約: 幻覚検出は現代言語モデル(LM)の信頼性を理解するための重要なステップである 我々は,LMの自己整合性に基づく既存の検出手法を再検討し,(1)質問レベルと(2)モデルレベルの2種類の幻覚を明らかにする。 本稿では, 自己整合性チェックの原理に基づいて, セマンティック・アウェア・クロスチェック整合性(SAC$3$)を提案する。
• 参考スコア（独自算出の注目度）: 11.056236593022978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hallucination detection is a critical step toward understanding the trustworthiness of modern language models (LMs). To achieve this goal, we re-examine existing detection approaches based on the self-consistency of LMs and uncover two types of hallucinations resulting from 1) question-level and 2) model-level, which cannot be effectively identified through self-consistency check alone. Building upon this discovery, we propose a novel sampling-based method, i.e., semantic-aware cross-check consistency (SAC$^3$) that expands on the principle of self-consistency checking. Our SAC$^3$ approach incorporates additional mechanisms to detect both question-level and model-level hallucinations by leveraging advances including semantically equivalent question perturbation and cross-model response consistency checking. Through extensive and systematic empirical analysis, we demonstrate that SAC$^3$ outperforms the state of the art in detecting both non-factual and factual statements across multiple question-answering and open-domain generation benchmarks.
• Abstract（参考訳）: 幻覚検出は、現代言語モデル(LM)の信頼性を理解するための重要なステップである。 この目的を達成するために,lmsの自己矛盾に基づく既存の検出アプローチを再検討し,その結果生じる2種類の幻覚を明らかにする。 1)質問レベルと回答 2)自己整合性チェックのみでは効果的に識別できないモデルレベル。 この発見に基づいて, 自己一貫性検査の原理に基づいて拡張する新しいサンプリングベース手法,すなわち, 意味認識型クロスチェック一貫性(sac$^3$)を提案する。 我々のSAC$^3$アプローチは、意味論的に等価な質問摂動やモデル間応答整合性チェックなどの進歩を活用することで、質問レベルとモデルレベルの幻覚の両方を検出するための追加のメカニズムを取り入れている。 SAC$^3$は,複数の問合せおよびオープンドメイン生成ベンチマークにおいて,非実数文と実数文の両方を検出できる技術であることを示す。

関連論文リスト

• Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。 そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• Evaluating the Reliability of Self-Explanations in Large Language Models [2.8894038270224867]
  このような自己説明の2つのタイプ – 抽出的, 対実的 – を評価した。 以上の結果から,これらの自己説明は人間の判断と相関するが,モデルの決定過程を完全に的確に従わないことが明らかとなった。 このギャップを橋渡しできるのは, 反実的な説明をLCMに促すことによって, 忠実で, 情報的で, 容易に検証できる結果が得られるからである。
  論文  参考訳（メタデータ） (2024-07-19T17:41:08Z)
• Multiple Instance Verification [11.027466339522777]
  本稿では,注目に基づく複数インスタンス学習手法と標準検証手法の素直な適応が,この設定には適さないことを示す。 CAPフレームワークでは、ターゲットバッグ内の非常に類似したインスタンスを区別する問題に対処する2つの新しい注意機能を提案する。
  論文  参考訳（メタデータ） (2024-07-09T04:51:22Z)
• KnowHalu: Hallucination Detection via Multi-Form Knowledge Based Factual Checking [55.2155025063668]
  KnowHaluは、大規模言語モデル(LLM)によって生成されたテキスト中の幻覚を検出する新しいアプローチである ステップワイズ推論、マルチフォームクエリ、ファクトチェックのためのマルチフォーム知識、フュージョンベースの検出メカニズムを使用する。 評価の結果,KnowHaluは様々なタスクにおける幻覚検出においてSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-04-03T02:52:07Z)
• Think Twice Before Trusting: Self-Detection for Large Language Models through Comprehensive Answer Reflection [90.71323430635593]
  本稿では, LLM生成解を超える包括的解答空間を考察した, 新たな自己検出パラダイムを提案する。 このパラダイムに基づいて、2段階のフレームワークを導入し、まずまずLLMに各候補の回答を反映し、正当化するように指示する。 このフレームワークは、優れた自己検出のための既存のアプローチとシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-03-15T02:38:26Z)
• A Novel Energy based Model Mechanism for Multi-modal Aspect-Based Sentiment Analysis [85.77557381023617]
  マルチモーダル感情分析のための新しいフレームワークDQPSAを提案する。 PDQモジュールは、プロンプトをビジュアルクエリと言語クエリの両方として使用し、プロンプト対応の視覚情報を抽出する。 EPEモジュールはエネルギーベースモデルの観点から解析対象の境界ペアリングをモデル化する。
  論文  参考訳（メタデータ） (2023-12-13T12:00:46Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
  大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。 本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。 提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-10T10:14:59Z)
• A Verification Framework for Component-Based Modeling and Simulation Putting the pieces together [0.0]
  提案する検証フレームワークは,コンポーザビリティを異なるレベルで検証するための方法,テクニック,ツールサポートを提供する。 特に、コンポーザビリティ全体の正しさにおける重要性と、プロセスで生じる困難度から、ダイナミック・セマンティック・コンポータビリティ(Dynamic-Semantic Composability)のレベルに注目します。
  論文  参考訳（メタデータ） (2023-01-08T18:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。