論文の概要: SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for
Generative Large Language Models
- arxiv url: http://arxiv.org/abs/2303.08896v2
- Date: Mon, 8 May 2023 00:52:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 20:54:58.237071
- Title: SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for
Generative Large Language Models
- Title(参考訳): selfcheckgpt: 生成大言語モデルのためのゼロリソースブラックボックス幻覚検出
- Authors: Potsawee Manakul, Adian Liusie, Mark J. F. Gales
- Abstract要約: SelfCheckGPTは、ファクトチェックブラックボックスモデルのための単純なサンプリングベースアプローチである。
本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
- 参考スコア(独自算出の注目度): 35.62056245837563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative Large Language Models (LLMs) such as GPT-3 are capable of
generating highly fluent responses to a wide variety of user prompts. However,
LLMs are known to hallucinate facts and make non-factual statements which can
undermine trust in their output. Existing fact-checking approaches either
require access to the output probability distribution (which may not be
available for systems such as ChatGPT) or external databases that are
interfaced via separate, often complex, modules. In this work, we propose
"SelfCheckGPT", a simple sampling-based approach that can be used to fact-check
black-box models in a zero-resource fashion, i.e. without an external database.
SelfCheckGPT leverages the simple idea that if a LLM has knowledge of a given
concept, sampled responses are likely to be similar and contain consistent
facts. However, for hallucinated facts, stochastically sampled responses are
likely to diverge and contradict one another. We investigate this approach by
using GPT-3 to generate passages about individuals from the WikiBio dataset,
and manually annotate the factuality of the generated passages. We demonstrate
that SelfCheckGPT can: i) detect non-factual and factual sentences; and ii)
rank passages in terms of factuality. We compare our approach to several
baselines and show that in sentence hallucination detection, our approach has
AUC-PR scores comparable to or better than grey-box methods, while SelfCheckGPT
is best at passage factuality assessment.
- Abstract(参考訳): GPT-3のようなジェネレーティブ・大型言語モデル(LLM)は、様々なユーザー・プロンプトに対して非常に流動的な応答を生成することができる。
しかし、LSMは事実を幻覚させ、その成果に対する信頼を損なう可能性のある非事実的声明を作成することが知られている。
既存のファクトチェックアプローチでは、出力確率分布(ChatGPTのようなシステムでは利用できない)にアクセスするか、独立した複雑なモジュールを介してインターフェースされる外部データベースを必要とする。
本稿では,外部データベースを使わずに,ブラックボックスモデルのファクトチェックを行うシンプルなサンプリングベースアプローチである"selfcheckgpt"を提案する。
SelfCheckGPT は LLM が与えられた概念の知識を持つならば、サンプル応答は類似し、一貫した事実を含む可能性が高いという単純な考え方を利用する。
しかし、幻覚的な事実の場合、確率的にサンプリングされた反応は互いに発散し、矛盾しがちである。
本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成し,生成したパスの事実を手動で注釈付けする手法を提案する。
私たちはSelfCheckGPTが可能であることを実証します。
一 非事実文及び事実文の検出
ii) 事実性の観点からの序列
提案手法をいくつかのベースラインと比較し,文の幻覚検出において,grey-box法に匹敵する以上のauc-prスコアを有することを示す。
関連論文リスト
- Comparing Plausibility Estimates in Base and Instruction-Tuned Large Language Models [50.15455336684986]
本研究では,英語文の可読性タスクにおいて,暗黙的プロンプトと暗黙的推定を用いて,ベースおよび命令調整型LLMの性能を比較した。
実験1では、モデルアーキテクチャと可視性データセットを通して、ログ可能性(textitLL$)スコアが文の可視性を示す最も信頼性の高い指標であることが示されている。
実験2では、モデル間の$textitLL$スコアが、期待される方法でコンテキストによって変調されることを示し、コンテキストに敏感な3つのメトリクスで高いパフォーマンスを示す。
論文 参考訳(メタデータ) (2024-03-21T22:08:44Z) - Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。
オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。
予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
論文 参考訳(メタデータ) (2023-11-15T14:41:57Z) - BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs'
Generation [60.77990074569754]
本稿では,凍結した事前学習言語モデルを,より汎用的な生成に向けて操る,計算効率のよいフレームワークを提案する。
具体的には、まず、文に常識的スコアを割り当てる参照なし評価器を構築する。
次に、スコアラをコモンセンス知識のオラクルとして使用し、NADOと呼ばれる制御可能な生成法を拡張して補助ヘッドを訓練する。
論文 参考訳(メタデータ) (2023-10-25T23:32:12Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳(メタデータ) (2023-09-27T14:44:10Z) - WeCheck: Strong Factual Consistency Checker via Weakly Supervised
Learning [40.5830891229718]
本稿では,複数のリソースを集約して,正確かつ効率的な実測値(WeCheck)をトレーニングする,弱教師付きフレームワークを提案する。
様々なタスクに関する総合的な実験は、平均してTRUEベンチマークにおける従来の最先端手法よりも3.4%の絶対的な改善を実現するWeCheckの強い性能を示す。
論文 参考訳(メタデータ) (2022-12-20T08:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。