論文の概要: SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for
Generative Large Language Models
- arxiv url: http://arxiv.org/abs/2303.08896v1
- Date: Wed, 15 Mar 2023 19:31:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-17 18:08:58.871233
- Title: SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for
Generative Large Language Models
- Title(参考訳): selfcheckgpt: 生成大言語モデルのためのゼロリソースブラックボックス幻覚検出
- Authors: Potsawee Manakul, Adian Liusie, Mark J. F. Gales
- Abstract要約: SelfCheckGPTは、ゼロリソース方式でファクトチェックブラックボックスモデルに対する単純なサンプリングベースアプローチである。
我々は、GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する。
我々は,SelfCheckGPTが,非事実文と事実文とを検出できることを示す。
- 参考スコア(独自算出の注目度): 35.62056245837563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative Large Language Models (LLMs) such as GPT-3 are capable of
generating highly fluent responses to a wide variety of user prompts. However,
LLMs are known to hallucinate facts and make non-factual statements which can
undermine trust in their output. Existing fact-checking approaches either
require access to token-level output probability distribution (which may not be
available for systems such as ChatGPT) or external databases that are
interfaced via separate, often complex, modules. In this work, we propose
"SelfCheckGPT", a simple sampling-based approach that can be used to fact-check
black-box models in a zero-resource fashion, i.e. without an external database.
SelfCheckGPT leverages the simple idea that if a LLM has knowledge of a given
concept, sampled responses are likely to be similar and contain consistent
facts. However, for hallucinated facts, stochastically sampled responses are
likely to diverge and contradict one another. We investigate this approach by
using GPT-3 to generate passages about individuals from the WikiBio dataset,
and manually annotate the factuality of the generated passages. We demonstrate
that SelfCheckGPT can: i) detect non-factual and factual sentences; and ii)
rank passages in terms of factuality. We compare our approach to several
existing baselines and show that in sentence hallucination detection, our
approach has AUC-PR scores comparable to grey-box methods, while SelfCheckGPT
is best at passage factuality assessment.
- Abstract(参考訳): GPT-3のようなジェネレーティブ・大型言語モデル(LLM)は、様々なユーザー・プロンプトに対して非常に流動的な応答を生成することができる。
しかし、LSMは事実を幻覚させ、その成果に対する信頼を損なう可能性のある非事実的声明を作成することが知られている。
既存のファクトチェックアプローチでは、トークンレベルの出力確率分布(ChatGPTのようなシステムでは利用できない)や、独立した複雑なモジュールを介してインターフェースされる外部データベースへのアクセスが必要になる。
本稿では,外部データベースを使わずに,ブラックボックスモデルのファクトチェックを行うシンプルなサンプリングベースアプローチである"selfcheckgpt"を提案する。
SelfCheckGPT は LLM が与えられた概念の知識を持つならば、サンプル応答は類似し、一貫した事実を含む可能性が高いという単純な考え方を利用する。
しかし、幻覚的な事実の場合、確率的にサンプリングされた反応は互いに発散し、矛盾しがちである。
本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成し,生成したパスの事実を手動で注釈付けする手法を提案する。
私たちはSelfCheckGPTが可能であることを実証します。
一 非事実文及び事実文の検出
ii) 事実性の観点からの序列
提案手法をいくつかの既存ベースラインと比較し,文の幻覚検出では,グレーボックス法に匹敵するAUC-PRスコアが得られたが,SelfCheckGPTは通過事実性評価に最適であることを示す。
関連論文リスト
- BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs'
Generation [60.77990074569754]
本稿では,凍結した事前学習言語モデルを,より汎用的な生成に向けて操る,計算効率のよいフレームワークを提案する。
具体的には、まず、文に常識的スコアを割り当てる参照なし評価器を構築する。
次に、スコアラをコモンセンス知識のオラクルとして使用し、NADOと呼ばれる制御可能な生成法を拡張して補助ヘッドを訓練する。
論文 参考訳(メタデータ) (2023-10-25T23:32:12Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳(メタデータ) (2023-09-27T14:44:10Z) - Interpretable Unified Language Checking [42.816372695828306]
本稿では,人間と機械生成言語の両方に対して,解釈可能で統一された言語チェック(UniLC)手法を提案する。
ファクトチェック, ステレオタイプ検出, ヘイトスピーチ検出タスクの組み合わせにより, LLM は高い性能が得られることがわかった。
論文 参考訳(メタデータ) (2023-04-07T16:47:49Z) - Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。
LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文 参考訳(メタデータ) (2023-02-22T17:44:15Z) - WeCheck: Strong Factual Consistency Checker via Weakly Supervised
Learning [40.5830891229718]
本稿では,複数のリソースを集約して,正確かつ効率的な実測値(WeCheck)をトレーニングする,弱教師付きフレームワークを提案する。
様々なタスクに関する総合的な実験は、平均してTRUEベンチマークにおける従来の最先端手法よりも3.4%の絶対的な改善を実現するWeCheckの強い性能を示す。
論文 参考訳(メタデータ) (2022-12-20T08:04:36Z) - Recitation-Augmented Language Models [85.30591349383849]
知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。
具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
論文 参考訳(メタデータ) (2022-10-04T00:49:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。