論文の概要: LLMs Prompted for Graphs: Hallucinations and Generative Capabilities

• arxiv url: http://arxiv.org/abs/2409.00159v3
• Date: Fri, 04 Apr 2025 10:58:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:46:31.358856
• Title: LLMs Prompted for Graphs: Hallucinations and Generative Capabilities
• Title（参考訳）: グラフのためのLLM:幻覚と生成能力
• Authors: Gurvan Richardeau, Samy Chali, Erwan Le Merrer, Camilla Penzo, Gilles Tredan,
• Abstract要約: 本研究では,Large Language Models (LLM) の文献からよく知られたグラフを抽出し,ランダムなグラフを生成する能力について検討する。 蘇生作業において, グラフ幻覚は, 10 000 倍の刺激を生かした幻覚ランクである幻覚リーダボードと相関することを示した。 生成タスクでは,ほとんどのLSMにおいて驚くほど良好で再現可能な結果が得られる。
• 参考スコア（独自算出の注目度）: 2.5165775267615205
• License:
• Abstract: Large Language Models (LLMs) are nowadays prompted for a wide variety of tasks. In this article, we investigate their ability in reciting and generating graphs. We first study the ability of LLMs to regurgitate well known graphs from the literature (e.g. Karate club or the graph atlas)4. Secondly, we question the generative capabilities of LLMs by asking for Erdos-Renyi random graphs. As opposed to the possibility that they could memorize some Erdos-Renyi graphs included in their scraped training set, this second investigation aims at studying a possible emergent property of LLMs. For both tasks, we propose a metric to assess their errors with the lens of hallucination (i.e. incorrect information returned as facts). We most notably find that the amplitude of graph hallucinations can characterize the superiority of some LLMs. Indeed, for the recitation task, we observe that graph hallucinations correlate with the Hallucination Leaderboard, a hallucination rank that leverages 10, 000 times more prompts to obtain its ranking. For the generation task, we find surprisingly good and reproducible results in most of LLMs. We believe this to constitute a starting point for more in-depth studies of this emergent capability and a challenging benchmark for their improvements. Altogether, these two aspects of LLMs capabilities bridge a gap between the network science and machine learning communities.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、現在では様々なタスクのために推進されている。 本稿では,グラフのリサイティングと生成能力について検討する。 まず LLM が文献(ケイトクラブやグラフアトラスなど)からよく知られたグラフを抽出する能力について検討する。 次に、エルドス・レニイランダムグラフを問うことにより、LLMの生成能力を疑問視する。 スクラップ化されたトレーニングセットに含まれるエルドス・レーニグラフを記憶できる可能性に対して、この第2次研究は、LLMの創発性の可能性を研究することを目的としている。 両課題に対して,幻覚レンズによる誤り(事実として返される誤った情報)を評価する指標を提案する。 グラフ幻覚の振幅がいくつかの LLM の優越性を特徴付けることが最も顕著である。 実際、リサイクリングタスクにおいて、グラフ幻覚は、そのランクを得るために10万倍のプロンプトを利用する幻覚ランクである幻覚リーダーボードと相関していることを観察する。 生成タスクでは,ほとんどのLSMにおいて驚くほど良好で再現可能な結果が得られる。 これは、この創発的な能力に関するより詳細な研究の出発点であり、改善のための挑戦的なベンチマークであると考えています。 LLMのこれらの2つの側面は、ネットワーク科学と機械学習コミュニティのギャップを埋めるものだ。

関連論文リスト

• Who Brings the Frisbee: Probing Hidden Hallucination Factors in Large Vision-Language Model via Causality Analysis [14.033320167387194]
  現実の応用における大きな課題は幻覚であり、LVLMは存在しない視覚要素を生成し、ユーザの信頼を損なう。 我々は、オブジェクト、コンテキスト、セマンティックフォアグラウンド・バックグラウンド構造といった隠れた要因が幻覚を引き起こすという仮説を立てた。 画像・テキスト・プロンプト・ネットワーク・サリエンシの因果関係を解析することにより,これらの要因をブロックするための介入を系統的に検討する。
  論文  参考訳（メタデータ） (2024-12-04T01:23:57Z)
• Training Language Models on the Knowledge Graph: Insights on Hallucinations and Their Detectability [83.0884072598828]
  幻覚は多くの形式があり、普遍的に受け入れられる定義はない。 トレーニングセットにおいて、正しい回答が冗長に現れるような幻覚のみを研究することに集中する。 固定されたデータセットの場合、より大きく長く訓練されたLMは幻覚を少なくする。 固定されたLMの出力の検出器サイズが向上するのに対して、LMのスケールと幻覚の検出可能性との間には逆の関係がある。
  論文  参考訳（メタデータ） (2024-08-14T23:34:28Z)
• GraphEval: A Knowledge-Graph Based LLM Hallucination Evaluation Framework [1.9286785775296298]
  本稿では,知識グラフ構造における情報表現に基づく幻覚評価フレームワークGraphEvalを提案する。 我々のアプローチと最先端自然言語推論(NLI)モデルとの併用により、様々な幻覚ベンチマークにおけるバランスの取れた精度が向上する。
  論文  参考訳（メタデータ） (2024-07-15T15:11:16Z)
• Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
  大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。 これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。 最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
  論文  参考訳（メタデータ） (2024-06-20T16:56:11Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• Hallucination Augmented Contrastive Learning for Multimodal Large Language Model [53.65682783591723]
  マルチモーダル大規模言語モデル(MLLM)は、自然言語と視覚情報を効率的に統合し、マルチモーダルタスクを処理できることが示されている。 しかし、MLLMは幻覚の基本的な限界に直面しており、誤った情報や偽情報を生成する傾向がある。 本稿では,MLLMにおける幻覚を表現学習の新たな視点から論じる。
  論文  参考訳（メタデータ） (2023-12-12T04:05:15Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。