論文の概要: LLMs hallucinate graphs too: a structural perspective

• arxiv url: http://arxiv.org/abs/2409.00159v1
• Date: Fri, 30 Aug 2024 15:04:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 16:37:47.894113
• Title: LLMs hallucinate graphs too: a structural perspective
• Title（参考訳）: LLMの幻覚グラフも--構造的視点から
• Authors: Erwan Le Merrer, Gilles Tredan,
• Abstract要約: グラフの幻覚は、文献からよく知られたグラフに誘導されるとき、誤った出力である。 本稿では,LLMの出力を特徴付けるために,このような豊富な幻覚を用いることができることを論じる。
• 参考スコア（独自算出の注目度）: 3.3148826359547523
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: It is known that LLMs do hallucinate, that is, they return incorrect information as facts. In this paper, we introduce the possibility to study these hallucinations under a structured form: graphs. Hallucinations in this context are incorrect outputs when prompted for well known graphs from the literature (e.g. Karate club, Les Mis\'erables, graph atlas). These hallucinated graphs have the advantage of being much richer than the factual accuracy -- or not -- of a fact; this paper thus argues that such rich hallucinations can be used to characterize the outputs of LLMs. Our first contribution observes the diversity of topological hallucinations from major modern LLMs. Our second contribution is the proposal of a metric for the amplitude of such hallucinations: the Graph Atlas Distance, that is the average graph edit distance from several graphs in the graph atlas set. We compare this metric to the Hallucination Leaderboard, a hallucination rank that leverages 10,000 times more prompts to obtain its ranking.
• Abstract（参考訳）: LLMが幻覚、すなわち誤った情報を事実として返すことは知られている。 本稿では,これらの幻覚を構造化された形で研究する可能性について紹介する。 この文脈における幻覚は、文献からよく知られたグラフ(例えば、Karate club, Les Mis\'erables, graph atlas)に刺激されたときの誤った出力である。 これらの幻影グラフは、事実の精度よりもはるかにリッチであるという利点があるが、本論文は、そのようなリッチな幻覚はLLMの出力を特徴づけるのに利用できると論じる。 我々の最初の貢献は、主要な近代LSMからのトポロジカル幻覚の多様性を観察することである。 2つ目の貢献は、グラフアトラス集合内のいくつかのグラフからの平均的なグラフ編集距離であるグラフアトラス距離という、このような幻覚の振幅に対する計量の提案である。 我々は、この指標を、そのランクを得るために1万倍のプロンプトを利用する幻覚のランクである幻覚のリーダーボードと比較する。

関連論文リスト

• Training Language Models on the Knowledge Graph: Insights on Hallucinations and Their Detectability [83.0884072598828]
  幻覚は多くの形式があり、普遍的に受け入れられる定義はない。 トレーニングセットにおいて、正しい回答が冗長に現れるような幻覚のみを研究することに集中する。 固定されたデータセットの場合、より大きく長く訓練されたLMは幻覚を少なくする。 固定されたLMの出力の検出器サイズが向上するのに対して、LMのスケールと幻覚の検出可能性との間には逆の関係がある。
  論文  参考訳（メタデータ） (2024-08-14T23:34:28Z)
• GraphEval: A Knowledge-Graph Based LLM Hallucination Evaluation Framework [1.9286785775296298]
  本稿では,知識グラフ構造における情報表現に基づく幻覚評価フレームワークGraphEvalを提案する。 我々のアプローチと最先端自然言語推論(NLI)モデルとの併用により、様々な幻覚ベンチマークにおけるバランスの取れた精度が向上する。
  論文  参考訳（メタデータ） (2024-07-15T15:11:16Z)
• Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
  大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。 これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。 最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
  論文  参考訳（メタデータ） (2024-06-20T16:56:11Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• Hallucination Augmented Contrastive Learning for Multimodal Large Language Model [53.65682783591723]
  マルチモーダル大規模言語モデル(MLLM)は、自然言語と視覚情報を効率的に統合し、マルチモーダルタスクを処理できることが示されている。 しかし、MLLMは幻覚の基本的な限界に直面しており、誤った情報や偽情報を生成する傾向がある。 本稿では,MLLMにおける幻覚を表現学習の新たな視点から論じる。
  論文  参考訳（メタデータ） (2023-12-12T04:05:15Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。