論文の概要: Do Language Models Know When They're Hallucinating References?

• arxiv url: http://arxiv.org/abs/2305.18248v1
• Date: Mon, 29 May 2023 17:12:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 13:52:05.901589
• Title: Do Language Models Know When They're Hallucinating References?
• Title（参考訳）: 言語モデルはいつ参照を幻覚させるのか?
• Authors: Ayush Agrawal, Lester Mackey and Adam Tauman Kalai
• Abstract要約: State-of-the-art Language Model (LM)は「幻覚」のあるテキストを生成することで有名である 外部リソースを照会することなく,ブラックボックスクエリのみを用いて,同一のLMを用いて多くのファブリケーションを識別できることが判明した。 GPTシリーズのLMは、独立したセッションでクエリされた際、幻覚された参照の異なる作者を幻覚させるが、実際の参照の作者を一貫して識別する。
• 参考スコア（独自算出の注目度）: 23.60933077385551
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Current state-of-the-art language models (LMs) are notorious for generating text with "hallucinations," a primary example being book and paper references that lack any solid basis in their training data. However, we find that many of these fabrications can be identified using the same LM, using only black-box queries without consulting any external resources. Consistency checks done with direct queries about whether the generated reference title is real (inspired by Kadavath et al. 2022, Lin et al. 2022, Manakul et al. 2023) are compared to consistency checks with indirect queries which ask for ancillary details such as the authors of the work. These consistency checks are found to be partially reliable indicators of whether or not the reference is a hallucination. In particular, we find that LMs in the GPT-series will hallucinate differing authors of hallucinated references when queried in independent sessions, while it will consistently identify authors of real references. This suggests that the hallucination may be more a result of generation techniques than the underlying representation.
• Abstract（参考訳）: 現在の最先端言語モデル(LM)は、トレーニングデータに確固とした基盤が欠けている書籍や論文の参照である「幻覚」でテキストを生成することで有名である。 しかし,これらの多くは,外部リソースを照会することなく,ブラックボックスクエリのみを用いて同一のLMを用いて識別できることが判明した。 生成した参照タイトルが本物かどうかに関する直接クエリによる一貫性チェック(Kadavath et al. 2022, Lin et al. 2022, Manakul et al. 2023)は、その作品の著者などの補助的な詳細を求める間接クエリによる一貫性チェックと比較される。 これらの整合性チェックは、参照が幻覚であるか否かを部分的に信頼性のある指標である。 特に、GPTシリーズのLMは、独立したセッションでクエリされた際、幻覚された参照の異なる作者を幻覚させるが、実際の参照の作者を一貫して識別する。 このことから、幻覚は根底にある表現よりも生成技術の結果である可能性が示唆される。

関連論文リスト

• Investigating and Mitigating Object Hallucinations in Pretrained Vision-Language (CLIP) Models [22.42712853647949]
  本稿では,CLIPモデル内での物体幻覚問題について詳細に検討する。 孤立しても、CLIPモデルは対象の幻覚に傾向があり、幻覚問題は単に視覚と言語モダリティの相互作用によるものではないことを示唆する。 拡張モデルは視覚エンコーダとして利用でき、LVLMにおける物体幻覚の問題を効果的に緩和できることを示す。
  論文  参考訳（メタデータ） (2024-10-04T06:24:49Z)
• WildHallucinations: Evaluating Long-form Factuality in LLMs with Real-World Entity Queries [64.239202960816]
  事実性を評価するベンチマークであるWildHallucinationsを紹介する。 それは、大きな言語モデルに、ユーザーとチャットボットの会話から抽出されたエンティティに関する情報を生成するよう促すことによって実現している。 我々は15個のLDMから7,919個のエンティティ上で118,785世代を評価した。
  論文  参考訳（メタデータ） (2024-07-24T17:59:05Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• HALO: An Ontology for Representing and Categorizing Hallucinations in Large Language Models [2.9312156642007294]
  Hallucination Ontology (HALO) はOWLで書かれており、大きな言語モデル(LLM)で見られる6種類の幻覚をサポートしている。 我々は,複数の独立したWebソースに対して帰納的に収集した幻覚を含むデータセットを公開し,このデータセットをモデル化し,有能な質問に答えるためにHALOをうまく利用できることを示す。
  論文  参考訳（メタデータ） (2023-12-08T17:57:20Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• How Language Model Hallucinations Can Snowball [42.80069385873057]
  言語モデルを用いた実践的な応用の大きなリスクは、誤った文を幻覚させる傾向があることである。 本稿では,ChatGPT と GPT-4 の3つのデータセットを構築した。 その結果,ChatGPTとGPT-4はそれぞれの誤りの67%と87%を識別できることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T23:14:28Z)
• HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models [146.87696738011712]
  大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。 言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
  論文  参考訳（メタデータ） (2023-05-19T15:36:27Z)
• On the Origin of Hallucinations in Conversational Models: Is it the Datasets or the Models? [32.41234580068662]
  既存の知識基盤型対話型ベンチマークといくつかの最先端モデルについて検討する。 標準ベンチマークは60%以上の幻覚応答で構成されており、幻覚だけでなく幻覚を増幅するモデルにつながっている。 この結果から,既存のデータセットやモデルの品質に関する重要な疑問が浮かび上がっている。
  論文  参考訳（メタデータ） (2022-04-17T05:15:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。