論文の概要: Do Language Models Know When They're Hallucinating References?
- arxiv url: http://arxiv.org/abs/2305.18248v2
- Date: Wed, 13 Sep 2023 13:58:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-14 18:02:09.214451
- Title: Do Language Models Know When They're Hallucinating References?
- Title(参考訳): 言語モデルはいつ参照を幻覚させるのか?
- Authors: Ayush Agrawal, Mirac Suzgun, Lester Mackey and Adam Tauman Kalai
- Abstract要約: State-of-the-art Language Model (LM) は「幻覚的」な参照で有名である。
簡単な検索エンジンクエリは、そのような幻覚を確実に識別する。
- 参考スコア(独自算出の注目度): 33.17193134850848
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: State-of-the-art language models (LMs) are famous for "hallucinating"
references. These fabricated article and book titles lead to harms, obstacles
to their use, and public backlash. While other types of LM hallucinations are
also important, we propose hallucinated references as the "drosophila" of
research on hallucination in large language models (LLMs), as they are
particularly easy to study. We show that simple search engine queries reliably
identify such hallucinations, which facilitates evaluation. To begin to dissect
the nature of hallucinated LM references, we attempt to classify them using
black-box queries to the same LM, without consulting any external resources.
Consistency checks done with "direct" queries about whether the generated
reference title is real (inspired by Kadavath et al. 2022, Lin et al. 2022,
Manakul et al. 2023) are compared to consistency checks with "indirect" queries
which ask for ancillary details such as the authors of the work. These
consistency checks are found to be partially reliable indicators of whether or
not the reference is a hallucination. In particular, we find that LMs often
hallucinate differing authors of hallucinated references when queried in
independent sessions, while consistently identify authors of real references.
This suggests that the hallucination may be more a generation issue than
inherent to current training techniques or representation.
- Abstract(参考訳): State-of-the-art Language Model (LM) は「幻覚的な」参照で有名である。
これらの記事や本のタイトルは、害、使用上の障害、公衆の反発に繋がる。
他の種類のLM幻覚も重要であるが、特に研究が容易であるため、大型言語モデル(LLM)における幻覚の研究の「ドロソフィラ」として幻覚を参照することを提案する。
簡単な検索エンジンクエリは、そのような幻覚を確実に識別し、評価を容易にする。
幻覚的 LM 参照の性質を識別するために,外部リソースを照会することなく,同じ LM に対してブラックボックスクエリを用いて分類を試みる。
生成した参照タイトルが本物かどうかに関する"direct"クエリ(Kadavath et al. 2022, Lin et al. 2022, Manakul et al. 2023)で実行される一貫性チェックは、作品の著者などの補助的な詳細を求める"direct"クエリとの一貫性チェックと比較される。
これらの整合性チェックは、参照が幻覚であるか否かを部分的に信頼性のある指標である。
特に、LMは独立したセッションでクエリされた際、しばしば幻覚的参照の作者を幻覚させるが、実際の参照の作者を一貫して識別する。
これは、幻覚は現在の訓練技術や表現に固有のものよりも、世代的な問題かもしれないことを示唆している。
関連論文リスト
- Investigating and Mitigating Object Hallucinations in Pretrained Vision-Language (CLIP) Models [22.42712853647949]
本稿では,CLIPモデル内での物体幻覚問題について詳細に検討する。
孤立しても、CLIPモデルは対象の幻覚に傾向があり、幻覚問題は単に視覚と言語モダリティの相互作用によるものではないことを示唆する。
拡張モデルは視覚エンコーダとして利用でき、LVLMにおける物体幻覚の問題を効果的に緩和できることを示す。
論文 参考訳(メタデータ) (2024-10-04T06:24:49Z) - WildHallucinations: Evaluating Long-form Factuality in LLMs with Real-World Entity Queries [64.239202960816]
事実性を評価するベンチマークであるWildHallucinationsを紹介する。
それは、大きな言語モデルに、ユーザーとチャットボットの会話から抽出されたエンティティに関する情報を生成するよう促すことによって実現している。
我々は15個のLDMから7,919個のエンティティ上で118,785世代を評価した。
論文 参考訳(メタデータ) (2024-07-24T17:59:05Z) - On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。
正しい解答知識を持つLLMの現象を推論力学の観点から検討する。
我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
論文 参考訳(メタデータ) (2024-03-29T06:48:30Z) - Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。
我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。
本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
論文 参考訳(メタデータ) (2024-01-12T19:02:48Z) - Alleviating Hallucinations of Large Language Models through Induced
Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。
幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-25T12:32:49Z) - HALO: An Ontology for Representing and Categorizing Hallucinations in Large Language Models [2.9312156642007294]
Hallucination Ontology (HALO) はOWLで書かれており、大きな言語モデル(LLM)で見られる6種類の幻覚をサポートしている。
我々は,複数の独立したWebソースに対して帰納的に収集した幻覚を含むデータセットを公開し,このデータセットをモデル化し,有能な質問に答えるためにHALOをうまく利用できることを示す。
論文 参考訳(メタデータ) (2023-12-08T17:57:20Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳(メタデータ) (2023-09-30T05:20:02Z) - How Language Model Hallucinations Can Snowball [42.80069385873057]
言語モデルを用いた実践的な応用の大きなリスクは、誤った文を幻覚させる傾向があることである。
本稿では,ChatGPT と GPT-4 の3つのデータセットを構築した。
その結果,ChatGPTとGPT-4はそれぞれの誤りの67%と87%を識別できることがわかった。
論文 参考訳(メタデータ) (2023-05-22T23:14:28Z) - HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large
Language Models [146.87696738011712]
大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。
言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
論文 参考訳(メタデータ) (2023-05-19T15:36:27Z) - On the Origin of Hallucinations in Conversational Models: Is it the
Datasets or the Models? [32.41234580068662]
既存の知識基盤型対話型ベンチマークといくつかの最先端モデルについて検討する。
標準ベンチマークは60%以上の幻覚応答で構成されており、幻覚だけでなく幻覚を増幅するモデルにつながっている。
この結果から,既存のデータセットやモデルの品質に関する重要な疑問が浮かび上がっている。
論文 参考訳(メタデータ) (2022-04-17T05:15:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。