論文の概要: HALoGEN: Fantastic LLM Hallucinations and Where to Find Them

• arxiv url: http://arxiv.org/abs/2501.08292v1
• Date: Tue, 14 Jan 2025 18:13:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:27:11.523494
• Title: HALoGEN: Fantastic LLM Hallucinations and Where to Find Them
• Title（参考訳）: 幻想的なLLM幻覚と発見の場所
• Authors: Abhilasha Ravichander, Shrusti Ghela, David Wadden, Yejin Choi,
• Abstract要約: 9つの領域にまたがる生成モデルに対する10,923のプロンプトからなる包括的な幻覚ベンチマークであるHALoGENをリリースする。 このフレームワークを使って14の言語モデルから15万世代を評価し、最高のパフォーマンスのモデルでさえ幻覚に満ちていることに気付きました。
• 参考スコア（独自算出の注目度）: 39.678012380996854
• License:
• Abstract: Despite their impressive ability to generate high-quality and fluent text, generative large language models (LLMs) also produce hallucinations: statements that are misaligned with established world knowledge or provided input context. However, measuring hallucination can be challenging, as having humans verify model generations on-the-fly is both expensive and time-consuming. In this work, we release HALoGEN, a comprehensive hallucination benchmark consisting of: (1) 10,923 prompts for generative models spanning nine domains including programming, scientific attribution, and summarization, and (2) automatic high-precision verifiers for each use case that decompose LLM generations into atomic units, and verify each unit against a high-quality knowledge source. We use this framework to evaluate ~150,000 generations from 14 language models, finding that even the best-performing models are riddled with hallucinations (sometimes up to 86% of generated atomic facts depending on the domain). We further define a novel error classification for LLM hallucinations based on whether they likely stem from incorrect recollection of training data (Type A errors), or incorrect knowledge in training data (Type B errors), or are fabrication (Type C errors). We hope our framework provides a foundation to enable the principled study of why generative models hallucinate, and advances the development of trustworthy large language models.
• Abstract（参考訳）: 高品質で流動的なテキストを生成するという印象的な能力にもかかわらず、生成的大言語モデル(LLM)は幻覚も生み出す。 しかしながら、人間がモデル世代をオンザフライで検証することは高価かつ時間を要するため、幻覚を測定することは困難である。 本研究では,(1)プログラミング,科学的属性,要約を含む9つの領域にまたがる生成モデルに対する10,923のプロンプトと,(2)LLM世代を原子単位に分解するユースケース毎に自動高精度検証を行い,各ユニットを高品質な知識源に対して検証する。 このフレームワークを使って14の言語モデルから約15万世代の評価を行い、最高のパフォーマンスのモデルでさえ幻覚(ドメインに依存して生成された原子事実の最大86%)によって取り除かれています。 さらに、トレーニングデータの不正な再コンパイル(A型誤り)、トレーニングデータの誤知識(B型誤り)、もしくは作成(C型誤り)から生じる可能性があることに基づいて、LLM幻覚の新たなエラー分類を定義する。 我々のフレームワークは、なぜ生成モデルが幻覚を与え、信頼できる大言語モデルの開発を進展させるかについて、原則的な研究を可能にする基盤を提供することを期待している。

関連論文リスト

• LLMs Will Always Hallucinate, and We Need to Live With This [1.3810901729134184]
  この研究は、言語モデルにおける幻覚は時折エラーであるだけでなく、これらのシステムの必然的な特徴であると主張している。 したがって、アーキテクチャの改善、データセットの強化、ファクトチェックメカニズムを通じてそれらを取り除くことは不可能である。
  論文  参考訳（メタデータ） (2024-09-09T16:01:58Z)
• Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models [65.32990889402927]
  「我々はこの現象を知識の誇張として造る。」 その結果, 幻覚率の増大は, 不均衡比と支配的条件記述の長さに左右されることがわかった。 本稿では,その発生前に幻覚をキャッチするための信号として,オーバーシェーディング条件を用いることを提案する。
  論文  参考訳（メタデータ） (2024-07-10T20:37:42Z)
• Unfamiliar Finetuning Examples Control How Language Models Hallucinate [75.03210107477157]
  大規模な言語モデルは、馴染みのないクエリに直面した時に幻覚化することが知られている。 モデルの微調整データの見慣れない例は、これらのエラーを形作るのに不可欠である。 本研究は,RLファインタニング戦略をさらに研究し,長大なモデル生成の現実性を改善することを目的とする。
  論文  参考訳（メタデータ） (2024-03-08T18:28:13Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• HALO: An Ontology for Representing and Categorizing Hallucinations in Large Language Models [2.9312156642007294]
  Hallucination Ontology (HALO) はOWLで書かれており、大きな言語モデル(LLM)で見られる6種類の幻覚をサポートしている。 我々は,複数の独立したWebソースに対して帰納的に収集した幻覚を含むデータセットを公開し,このデータセットをモデル化し,有能な質問に答えるためにHALOをうまく利用できることを示す。
  論文  参考訳（メタデータ） (2023-12-08T17:57:20Z)
• Calibrated Language Models Must Hallucinate [11.891340760198798]
  最近の言語モデルでは、驚くほどの頻度で、偽のもっとも可聴なテキストを生成する。 この研究は、事前訓練された言語モデルがある種の事実を幻覚させる速度に固有の統計的下限が存在することを示している。 訓練データから真偽を判断できない「任意」事実に対して, 幻覚は言語モデルに対して一定の速度で発生しなければならないことを示す。
  論文  参考訳（メタデータ） (2023-11-24T18:29:50Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• Reducing Hallucinations in Neural Machine Translation with Feature Attribution [54.46113444757899]
  本研究は,NMTにおける幻覚の軽減を目的としたモデル理解と正規化に着目したケーススタディである。 まず,幻覚を発生させるNMTモデルの振る舞いを研究するために,特徴帰属法を用いる。 次に、これらの手法を利用して、幻覚の低減に大きく貢献し、ゼロからモデルを再訓練する必要のない新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2022-11-17T20:33:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。