論文の概要: Do Language Models Know When They're Hallucinating References?

• arxiv url: http://arxiv.org/abs/2305.18248v3
• Date: Wed, 20 Mar 2024 13:12:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 22:57:10.586703
• Title: Do Language Models Know When They're Hallucinating References?
• Title（参考訳）: 言語モデルは、いつ参照を幻覚しているかを知っていますか?
• Authors: Ayush Agrawal, Mirac Suzgun, Lester Mackey, Adam Tauman Kalai,
• Abstract要約: State-of-the-art Language Model (LM) は、幻覚情報を生成するのに非常に敏感である。 我々は、幻覚書や記事参照に焦点をあて、それらを言語モデル幻覚研究の「モデル」として提示する。
• 参考スコア（独自算出の注目度）: 30.36532062084063
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: State-of-the-art language models (LMs) are notoriously susceptible to generating hallucinated information. Such inaccurate outputs not only undermine the reliability of these models but also limit their use and raise serious concerns about misinformation and propaganda. In this work, we focus on hallucinated book and article references and present them as the "model organism" of language model hallucination research, due to their frequent and easy-to-discern nature. We posit that if a language model cites a particular reference in its output, then it should ideally possess sufficient information about its authors and content, among other relevant details. Using this basic insight, we illustrate that one can identify hallucinated references without ever consulting any external resources, by asking a set of direct or indirect queries to the language model about the references. These queries can be considered as "consistency checks." Our findings highlight that while LMs, including GPT-4, often produce inconsistent author lists for hallucinated references, they also often accurately recall the authors of real references. In this sense, the LM can be said to "know" when it is hallucinating references. Furthermore, these findings show how hallucinated references can be dissected to shed light on their nature. Replication code and results can be found at https://github.com/microsoft/hallucinated-references.
• Abstract（参考訳）: State-of-the-art Language Model (LM) は、幻覚情報を生成するのに非常に敏感である。 このような不正確な出力は、これらのモデルの信頼性を損なうだけでなく、それらの使用を制限し、誤情報やプロパガンダに対する深刻な懸念を引き起こす。 本研究は, 言語モデル幻覚研究の「モデル生物」として, 頻繁で分かりやすい性質から, 幻覚書や記事参照に焦点をあてたものである。 言語モデルがその出力に特定の参照を引用するならば、著者やコンテンツに関する十分な情報を理想的に保持すべきである、と仮定する。 この基本的な知見を用いて、言語モデルに参照について直接または間接的なクエリのセットを問い合わせることにより、外部リソースに相談することなく、幻覚的参照を識別できることを示す。 これらのクエリは、"一貫性チェック"と見なすことができる。 以上の結果から, GPT-4を含むLMは, 幻覚的参照に対して不整合な著者リストを生成することが多いが, 実参照の作者を正確に思い出す場合が多いことが示唆された。 この意味で、LMは幻覚的参照であるときに「知る」と言える。 さらに, これらの知見は, 幻覚参照を解離して自然光を放つ方法を示している。 レプリケーションコードと結果はhttps://github.com/microsoft/hallucinated-referencesで見ることができる。

関連論文リスト

• Investigating and Mitigating Object Hallucinations in Pretrained Vision-Language (CLIP) Models [22.42712853647949]
  本稿では,CLIPモデル内での物体幻覚問題について詳細に検討する。 孤立しても、CLIPモデルは対象の幻覚に傾向があり、幻覚問題は単に視覚と言語モダリティの相互作用によるものではないことを示唆する。 拡張モデルは視覚エンコーダとして利用でき、LVLMにおける物体幻覚の問題を効果的に緩和できることを示す。
  論文  参考訳（メタデータ） (2024-10-04T06:24:49Z)
• WildHallucinations: Evaluating Long-form Factuality in LLMs with Real-World Entity Queries [64.239202960816]
  事実性を評価するベンチマークであるWildHallucinationsを紹介する。 それは、大きな言語モデルに、ユーザーとチャットボットの会話から抽出されたエンティティに関する情報を生成するよう促すことによって実現している。 我々は15個のLDMから7,919個のエンティティ上で118,785世代を評価した。
  論文  参考訳（メタデータ） (2024-07-24T17:59:05Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• HALO: An Ontology for Representing and Categorizing Hallucinations in Large Language Models [2.9312156642007294]
  Hallucination Ontology (HALO) はOWLで書かれており、大きな言語モデル(LLM)で見られる6種類の幻覚をサポートしている。 我々は,複数の独立したWebソースに対して帰納的に収集した幻覚を含むデータセットを公開し,このデータセットをモデル化し,有能な質問に答えるためにHALOをうまく利用できることを示す。
  論文  参考訳（メタデータ） (2023-12-08T17:57:20Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• How Language Model Hallucinations Can Snowball [42.80069385873057]
  言語モデルを用いた実践的な応用の大きなリスクは、誤った文を幻覚させる傾向があることである。 本稿では,ChatGPT と GPT-4 の3つのデータセットを構築した。 その結果,ChatGPTとGPT-4はそれぞれの誤りの67%と87%を識別できることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T23:14:28Z)
• HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models [146.87696738011712]
  大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。 言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
  論文  参考訳（メタデータ） (2023-05-19T15:36:27Z)
• On the Origin of Hallucinations in Conversational Models: Is it the Datasets or the Models? [32.41234580068662]
  既存の知識基盤型対話型ベンチマークといくつかの最先端モデルについて検討する。 標準ベンチマークは60%以上の幻覚応答で構成されており、幻覚だけでなく幻覚を増幅するモデルにつながっている。 この結果から,既存のデータセットやモデルの品質に関する重要な疑問が浮かび上がっている。
  論文  参考訳（メタデータ） (2022-04-17T05:15:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。