論文の概要: Quantifying and Attributing the Hallucination of Large Language Models via Association Analysis

• arxiv url: http://arxiv.org/abs/2309.05217v1
• Date: Mon, 11 Sep 2023 03:35:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 13:58:43.290529
• Title: Quantifying and Attributing the Hallucination of Large Language Models via Association Analysis
• Title（参考訳）: 連想分析による大規模言語モデルの幻覚の定量化と寄与
• Authors: Li Du, Yequan Wang, Xingrun Xing, Yiqun Ya, Xiang Li, Xin Jiang, Xuezhi Fang
• Abstract要約: 大きな言語モデル(LLM)は幻覚の問題に悩まされ、その信頼性を脅かす。 先行研究は、まず、現象の類似性に応じて幻覚を分類し、次に、モデル出力が幻覚内容を含む割合を定量化する。 本研究は,LLMの幻覚率とリスク要因のセットの関係を構築できる関連分析を通じて,幻覚レベルと幻覚理由の調査を組み合わせたものである。
• 参考スコア（独自算出の注目度）: 29.043008337391075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although demonstrating superb performance on various NLP tasks, large language models (LLMs) still suffer from the hallucination problem, which threatens the reliability of LLMs. To measure the level of hallucination of LLMs, previous works first categorize the hallucination according to the phenomenon similarity, then quantify the proportion that model outputs contain hallucinatory contents. However, such hallucination rates could easily be distorted by confounders. Moreover, such hallucination rates could not reflect the reasons for the hallucination, as similar hallucinatory phenomena may originate from different sources. To address these issues, we propose to combine the hallucination level quantification and hallucination reason investigation through an association analysis, which builds the relationship between the hallucination rate of LLMs with a set of risk factors. In this way, we are able to observe the hallucination level under each value of each risk factor, examining the contribution and statistical significance of each risk factor, meanwhile excluding the confounding effect of other factors. Additionally, by recognizing the risk factors according to a taxonomy of model capability, we reveal a set of potential deficiencies in commonsense memorization, relational reasoning, and instruction following, which may further provide guidance for the pretraining and supervised fine-tuning process of LLMs to mitigate the hallucination.
• Abstract（参考訳）: 様々なNLPタスクにおいて非常に優れた性能を示すが、大きな言語モデル(LLM)は幻覚の問題に悩まされ、LLMの信頼性を脅かす。 LLMの幻覚レベルを測定するために、先行研究はまず、現象の類似性に応じて幻覚を分類し、モデル出力が幻覚内容を含む割合を定量化する。 しかし、そのような幻覚率は共同創設者によって容易に歪められる。 さらに、同様の幻覚現象は異なるソースから生じる可能性があるため、このような幻覚率は幻覚の理由を反映することができなかった。 これらの問題に対処するため,我々は,llmの幻覚率とリスク因子のセットの関係性を構築する関連分析を通じて,幻覚レベル定量化と幻覚理由調査を組み合わせることを提案する。 このようにして、リスク因子のそれぞれの値の下で幻覚レベルを観察でき、リスク因子の寄与と統計的意義を調べながら、他の因子の結合効果を除外できる。 また,モデル能力の分類に従ってリスク因子を認識することにより,共通認識記憶,関係推論,指示追従の潜在的な欠陥が明らかになり,さらにllmの事前訓練および教師付き微調整過程の指導により幻覚を緩和できる可能性がある。

関連論文リスト

• Interpreting and Mitigating Hallucination in MLLMs through Multi-agent Debate [34.17353224636788]
  MLLMにおける幻覚は、部分的には、これらのモデルにおいてゆっくり考え、異なる考えが欠如しているためである、と我々は主張する。 我々のアプローチは幻覚だけでなく、それらがなぜ起こるのかを解釈し、幻覚の特異点を詳述する。
  論文  参考訳（メタデータ） (2024-07-30T02:41:32Z)
• ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
  大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。 現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。 本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:56:38Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• Confabulation: The Surprising Value of Large Language Model Hallucinations [0.7249731529275342]
  ナラティビティを認知的資源として活用するために,LLMのコミュニケーションの計測可能な意味的特性は,人間の正当性を反映している,と我々は主張する。 この発見は、通常、非難の否定的な理解の中で緊張を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-06-06T15:32:29Z)
• Exploring and Evaluating Hallucinations in LLM-Powered Code Generation [14.438161741833687]
  LLM(Large Language Models)は、ユーザの意図から逸脱した出力を生成し、内部的不整合を示すか、事実的知識と不整合を示す。 既存の研究は主に、自然言語生成の分野における幻覚の投資に重点を置いている。 我々は,LLM生成コードのテーマ解析を行い,その内に存在する幻覚を要約し,分類する。 幻覚認識におけるLLMの性能評価のためのベンチマークであるHaluCodeを提案する。
  論文  参考訳（メタデータ） (2024-04-01T07:31:45Z)
• Retrieve Only When It Needs: Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models [68.91592125175787]
  幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。 本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-16T11:55:40Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions [40.79317187623401]
  大規模言語モデル(LLM)の出現は、自然言語処理(NLP)において大きなブレークスルーとなった。 LLMは幻覚を起こす傾向があり、可視だが非現実的な内容を生成する。 この現象は、実世界の情報検索システムにおけるLCMの信頼性に対する重大な懸念を引き起こす。
  論文  参考訳（メタデータ） (2023-11-09T09:25:37Z)
• Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models [116.01843550398183]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
  論文  参考訳（メタデータ） (2023-09-03T16:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。