論文の概要: SAC$^3$: Reliable Hallucination Detection in Black-Box Language Models
via Semantic-aware Cross-check Consistency
- arxiv url: http://arxiv.org/abs/2311.01740v1
- Date: Fri, 3 Nov 2023 06:32:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-06 14:58:43.234722
- Title: SAC$^3$: Reliable Hallucination Detection in Black-Box Language Models
via Semantic-aware Cross-check Consistency
- Title(参考訳): sac$^3$ : semantic-aware cross-check consistency によるブラックボックス言語モデルの信頼性の高い幻覚検出
- Authors: Jiaxin Zhang, Zhuohang Li, Kamalika Das, Bradley A. Malin, Sricharan
Kumar
- Abstract要約: 幻覚検出は現代言語モデル(LM)の信頼性を理解するための重要なステップである
我々は,LMの自己整合性に基づく既存の検出手法を再検討し,(1)質問レベルと(2)モデルレベルの2種類の幻覚を明らかにする。
本稿では, 自己整合性チェックの原理に基づいて, セマンティック・アウェア・クロスチェック整合性(SAC$3$)を提案する。
- 参考スコア(独自算出の注目度): 11.056236593022978
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hallucination detection is a critical step toward understanding the
trustworthiness of modern language models (LMs). To achieve this goal, we
re-examine existing detection approaches based on the self-consistency of LMs
and uncover two types of hallucinations resulting from 1) question-level and 2)
model-level, which cannot be effectively identified through self-consistency
check alone. Building upon this discovery, we propose a novel sampling-based
method, i.e., semantic-aware cross-check consistency (SAC$^3$) that expands on
the principle of self-consistency checking. Our SAC$^3$ approach incorporates
additional mechanisms to detect both question-level and model-level
hallucinations by leveraging advances including semantically equivalent
question perturbation and cross-model response consistency checking. Through
extensive and systematic empirical analysis, we demonstrate that SAC$^3$
outperforms the state of the art in detecting both non-factual and factual
statements across multiple question-answering and open-domain generation
benchmarks.
- Abstract(参考訳): 幻覚検出は、現代言語モデル(LM)の信頼性を理解するための重要なステップである。
この目的を達成するために,lmsの自己矛盾に基づく既存の検出アプローチを再検討し,その結果生じる2種類の幻覚を明らかにする。
1)質問レベルと回答
2)自己整合性チェックのみでは効果的に識別できないモデルレベル。
この発見に基づいて, 自己一貫性検査の原理に基づいて拡張する新しいサンプリングベース手法,すなわち, 意味認識型クロスチェック一貫性(sac$^3$)を提案する。
我々のSAC$^3$アプローチは、意味論的に等価な質問摂動やモデル間応答整合性チェックなどの進歩を活用することで、質問レベルとモデルレベルの幻覚の両方を検出するための追加のメカニズムを取り入れている。
SAC$^3$は,複数の問合せおよびオープンドメイン生成ベンチマークにおいて,非実数文と実数文の両方を検出できる技術であることを示す。
関連論文リスト
- SLPL SHROOM at SemEval2024 Task 06: A comprehensive study on models ability to detect hallucination [1.4705596514165422]
本研究では,SemEval-2024タスク6の3つのタスク(機械翻訳,定義モデリング,パラフレーズ生成)における幻覚検出手法について検討する。
生成したテキストと事実参照のセマンティックな類似性、および相互の出力を判断する言語モデルのアンサンブルの2つの方法を評価する。
論文 参考訳(メタデータ) (2024-04-07T07:34:49Z) - KnowHalu: Hallucination Detection via Multi-Form Knowledge Based Factual Checking [55.2155025063668]
KnowHaluは、大規模言語モデル(LLM)によって生成されたテキスト中の幻覚を検出する新しいアプローチである
ステップワイズ推論、マルチフォームクエリ、ファクトチェックのためのマルチフォーム知識、フュージョンベースの検出メカニズムを使用する。
評価の結果,KnowHaluは様々なタスクにおける幻覚検出においてSOTAベースラインを著しく上回っていることがわかった。
論文 参考訳(メタデータ) (2024-04-03T02:52:07Z) - Chain of Thought Explanation for Dialogue State Tracking [52.015771676340016]
対話状態追跡(DST)は、会話中のユーザクエリと目標を記録することを目的としている。
DSTタスクに対してChain-of-Thought-Explanation(CoTE)というモデルを提案する。
CoTEはスロット値を決定した後、ステップバイステップで詳細な説明を作成するように設計されている。
論文 参考訳(メタデータ) (2024-03-07T16:59:55Z) - Learning Contrastive Feature Representations for Facial Action Unit
Detection [7.365839694761861]
教師付き信号と自己教師型信号の両方によって強化されたコントラスト学習フレームワークを導入する。
目的は,従来の画素レベルの学習パラダイムから逸脱した識別的特徴の獲得である。
各AUタイプの不均衡分布を軽減するため、少数AUに適した重み付け戦略を採用する。
論文 参考訳(メタデータ) (2024-02-09T03:48:20Z) - A Novel Energy based Model Mechanism for Multi-modal Aspect-Based
Sentiment Analysis [85.77557381023617]
マルチモーダル感情分析のための新しいフレームワークDQPSAを提案する。
PDQモジュールは、プロンプトをビジュアルクエリと言語クエリの両方として使用し、プロンプト対応の視覚情報を抽出する。
EPEモジュールはエネルギーベースモデルの観点から解析対象の境界ペアリングをモデル化する。
論文 参考訳(メタデータ) (2023-12-13T12:00:46Z) - Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。
LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。
LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
論文 参考訳(メタデータ) (2023-11-22T08:39:17Z) - A New Benchmark and Reverse Validation Method for Passage-level
Hallucination Detection [63.56136319976554]
大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。
本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。
提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
論文 参考訳(メタデータ) (2023-10-10T10:14:59Z) - SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for
Generative Large Language Models [55.60306377044225]
「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。
本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
論文 参考訳(メタデータ) (2023-03-15T19:31:21Z) - A Verification Framework for Component-Based Modeling and Simulation
Putting the pieces together [0.0]
提案する検証フレームワークは,コンポーザビリティを異なるレベルで検証するための方法,テクニック,ツールサポートを提供する。
特に、コンポーザビリティ全体の正しさにおける重要性と、プロセスで生じる困難度から、ダイナミック・セマンティック・コンポータビリティ(Dynamic-Semantic Composability)のレベルに注目します。
論文 参考訳(メタデータ) (2023-01-08T18:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。