論文の概要: SAC3: Reliable Hallucination Detection in Black-Box Language Models via
Semantic-aware Cross-check Consistency
- arxiv url: http://arxiv.org/abs/2311.01740v2
- Date: Sun, 18 Feb 2024 06:13:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 04:55:13.912343
- Title: SAC3: Reliable Hallucination Detection in Black-Box Language Models via
Semantic-aware Cross-check Consistency
- Title(参考訳): sac3:semantic-aware cross-check consistencyによるブラックボックス言語モデルの信頼性の高い幻覚検出
- Authors: Jiaxin Zhang, Zhuohang Li, Kamalika Das, Bradley A. Malin, Sricharan
Kumar
- Abstract要約: 幻覚検出は現代言語モデル(LM)の信頼性を理解するための重要なステップである
我々は,LMの自己整合性に基づく既存の検出手法を再検討し,(1)質問レベルと(2)モデルレベルの2種類の幻覚を明らかにする。
本稿では, 自己整合性チェックの原理に基づいて, セマンティック・アウェア・クロスチェック整合性(SAC3)という, サンプリングに基づく新しい手法を提案する。
- 参考スコア(独自算出の注目度): 11.056236593022978
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hallucination detection is a critical step toward understanding the
trustworthiness of modern language models (LMs). To achieve this goal, we
re-examine existing detection approaches based on the self-consistency of LMs
and uncover two types of hallucinations resulting from 1) question-level and 2)
model-level, which cannot be effectively identified through self-consistency
check alone. Building upon this discovery, we propose a novel sampling-based
method, i.e., semantic-aware cross-check consistency (SAC3) that expands on the
principle of self-consistency checking. Our SAC3 approach incorporates
additional mechanisms to detect both question-level and model-level
hallucinations by leveraging advances including semantically equivalent
question perturbation and cross-model response consistency checking. Through
extensive and systematic empirical analysis, we demonstrate that SAC3
outperforms the state of the art in detecting both non-factual and factual
statements across multiple question-answering and open-domain generation
benchmarks.
- Abstract(参考訳): 幻覚検出は、現代言語モデル(LM)の信頼性を理解するための重要なステップである。
この目的を達成するために,lmsの自己矛盾に基づく既存の検出アプローチを再検討し,その結果生じる2種類の幻覚を明らかにする。
1)質問レベルと回答
2)自己整合性チェックのみでは効果的に識別できないモデルレベル。
この発見に基づいて, 自己一貫性検査の原理に基づいて拡張した新しいサンプリングベース手法,すなわちsemantic-aware cross-check consistency (sac3)を提案する。
我々のSAC3アプローチは、意味論的に等価な質問摂動やモデル間の応答整合性チェックなどの進歩を活用することで、質問レベルとモデルレベルの幻覚の両方を検出するための追加メカニズムを組み込んでいる。
広範かつ体系的な実証分析を通じて、SAC3は複数の質問応答およびオープンドメイン生成ベンチマークにおいて、非実例と実例の両方の検出において、技術の現状より優れていることを示す。
関連論文リスト
- Chain of Thought Explanation for Dialogue State Tracking [52.015771676340016]
対話状態追跡(DST)は、会話中のユーザクエリと目標を記録することを目的としている。
DSTタスクに対してChain-of-Thought-Explanation(CoTE)というモデルを提案する。
CoTEはスロット値を決定した後、ステップバイステップで詳細な説明を作成するように設計されている。
論文 参考訳(メタデータ) (2024-03-07T16:59:55Z) - Learning Contrastive Feature Representations for Facial Action Unit
Detection [7.365839694761861]
教師付き信号と自己教師型信号の両方によって強化されたコントラスト学習フレームワークを導入する。
目的は,従来の画素レベルの学習パラダイムから逸脱した識別的特徴の獲得である。
各AUタイプの不均衡分布を軽減するため、少数AUに適した重み付け戦略を採用する。
論文 参考訳(メタデータ) (2024-02-09T03:48:20Z) - A Novel Energy based Model Mechanism for Multi-modal Aspect-Based
Sentiment Analysis [85.77557381023617]
マルチモーダル感情分析のための新しいフレームワークDQPSAを提案する。
PDQモジュールは、プロンプトをビジュアルクエリと言語クエリの両方として使用し、プロンプト対応の視覚情報を抽出する。
EPEモジュールはエネルギーベースモデルの観点から解析対象の境界ペアリングをモデル化する。
論文 参考訳(メタデータ) (2023-12-13T12:00:46Z) - Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。
LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。
LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
論文 参考訳(メタデータ) (2023-11-22T08:39:17Z) - Sequence-Level Certainty Reduces Hallucination In Knowledge-Grounded
Dialogue Generation [7.07321040534471]
知識基盤対話生成(KGDG)における幻覚に関する共通テーマとしてのシーケンスレベルの確実性を提案する。
本研究では,幻覚レベルと2種類のシーケンスレベルの確実性(確率的確実性と意味的確実性)の相関について検討する。
本稿では,デコード時幻覚緩和法であるCRR(Certainty-based Response Ranking)を提案する。
論文 参考訳(メタデータ) (2023-10-28T19:42:28Z) - A New Benchmark and Reverse Validation Method for Passage-level
Hallucination Detection [63.56136319976554]
大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。
本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。
提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
論文 参考訳(メタデータ) (2023-10-10T10:14:59Z) - Causal Intersectionality and Dual Form of Gradient Descent for
Multimodal Analysis: a Case Study on Hateful Memes [1.0774440462574781]
機械学習(ML)の使用が爆発的に増加する中で、その内部作業に根ざした意味的意義を理解することが重要である。
本研究は, ヘイトフルミーム検出問題を平均処理効果(ATE)として定式化できることを示す。
最新のLLM LLaMA2は、コンテキスト内学習環境において、ミーム検出の交わる性質を解き放つことができることを示す。
論文 参考訳(メタデータ) (2023-08-19T13:14:15Z) - SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for
Generative Large Language Models [55.60306377044225]
「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。
本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
論文 参考訳(メタデータ) (2023-03-15T19:31:21Z) - A Verification Framework for Component-Based Modeling and Simulation
Putting the pieces together [0.0]
提案する検証フレームワークは,コンポーザビリティを異なるレベルで検証するための方法,テクニック,ツールサポートを提供する。
特に、コンポーザビリティ全体の正しさにおける重要性と、プロセスで生じる困難度から、ダイナミック・セマンティック・コンポータビリティ(Dynamic-Semantic Composability)のレベルに注目します。
論文 参考訳(メタデータ) (2023-01-08T18:53:28Z) - Composed Image Retrieval with Text Feedback via Multi-grained
Uncertainty Regularization [73.04187954213471]
粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。
提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
論文 参考訳(メタデータ) (2022-11-14T14:25:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。