論文の概要: LLMs Prompted for Graphs: Hallucinations and Generative Capabilities

• arxiv url: http://arxiv.org/abs/2409.00159v3
• Date: Fri, 04 Apr 2025 10:58:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 01:29:50.198581
• Title: LLMs Prompted for Graphs: Hallucinations and Generative Capabilities
• Title（参考訳）: グラフのためのLLM:幻覚と生成能力
• Authors: Gurvan Richardeau, Samy Chali, Erwan Le Merrer, Camilla Penzo, Gilles Tredan,
• Abstract要約: 本研究では,Large Language Models (LLM) の文献からよく知られたグラフを抽出し,ランダムなグラフを生成する能力について検討する。 蘇生作業において, グラフ幻覚は, 10 000 倍の刺激を生かした幻覚ランクである幻覚リーダボードと相関することを示した。 生成タスクでは,ほとんどのLSMにおいて驚くほど良好で再現可能な結果が得られる。
• 参考スコア（独自算出の注目度）: 2.5165775267615205
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) are nowadays prompted for a wide variety of tasks. In this article, we investigate their ability in reciting and generating graphs. We first study the ability of LLMs to regurgitate well known graphs from the literature (e.g. Karate club or the graph atlas)4. Secondly, we question the generative capabilities of LLMs by asking for Erdos-Renyi random graphs. As opposed to the possibility that they could memorize some Erdos-Renyi graphs included in their scraped training set, this second investigation aims at studying a possible emergent property of LLMs. For both tasks, we propose a metric to assess their errors with the lens of hallucination (i.e. incorrect information returned as facts). We most notably find that the amplitude of graph hallucinations can characterize the superiority of some LLMs. Indeed, for the recitation task, we observe that graph hallucinations correlate with the Hallucination Leaderboard, a hallucination rank that leverages 10, 000 times more prompts to obtain its ranking. For the generation task, we find surprisingly good and reproducible results in most of LLMs. We believe this to constitute a starting point for more in-depth studies of this emergent capability and a challenging benchmark for their improvements. Altogether, these two aspects of LLMs capabilities bridge a gap between the network science and machine learning communities.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、現在では様々なタスクのために推進されている。 本稿では,グラフのリサイティングと生成能力について検討する。 まず LLM が文献(ケイトクラブやグラフアトラスなど)からよく知られたグラフを抽出する能力について検討する。 次に、エルドス・レニイランダムグラフを問うことにより、LLMの生成能力を疑問視する。 スクラップ化されたトレーニングセットに含まれるエルドス・レーニグラフを記憶できる可能性に対して、この第2次研究は、LLMの創発性の可能性を研究することを目的としている。 両課題に対して,幻覚レンズによる誤り(事実として返される誤った情報)を評価する指標を提案する。 グラフ幻覚の振幅がいくつかの LLM の優越性を特徴付けることが最も顕著である。 実際、リサイクリングタスクにおいて、グラフ幻覚は、そのランクを得るために10万倍のプロンプトを利用する幻覚ランクである幻覚リーダーボードと相関していることを観察する。 生成タスクでは,ほとんどのLSMにおいて驚くほど良好で再現可能な結果が得られる。 これは、この創発的な能力に関するより詳細な研究の出発点であり、改善のための挑戦的なベンチマークであると考えています。 LLMのこれらの2つの側面は、ネットワーク科学と機械学習コミュニティのギャップを埋めるものだ。

関連論文リスト

• CausalGraph2LLM: Evaluating LLMs for Causal Queries [49.337170619608145]
  CausalGraph2LLMは、さまざまな因果グラフ設定にまたがる700万以上のクエリからなるベンチマークである。 この領域ではLSMは有望であるが, 使用するエンコーディングに非常に敏感であることがわかった。
  論文  参考訳（メタデータ） (2024-10-21T12:12:21Z)
• Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path [53.71787069694794]
  大規模言語モデル(LLM)のグラフ推論能力に着目する。 グラフ記述変換,グラフ接続,最短パス問題という3つの基本グラフタスクにおけるLLMの能力を再考する。 この結果から,LLMはテキスト記述によるグラフ構造理解に失敗し,これらの基本課題に対して様々な性能を示すことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-18T16:26:39Z)
• Training Language Models on the Knowledge Graph: Insights on Hallucinations and Their Detectability [83.0884072598828]
  幻覚は多くの形式があり、普遍的に受け入れられる定義はない。 トレーニングセットにおいて、正しい回答が冗長に現れるような幻覚のみを研究することに集中する。 固定されたデータセットの場合、より大きく長く訓練されたLMは幻覚を少なくする。 固定されたLMの出力の検出器サイズが向上するのに対して、LMのスケールと幻覚の検出可能性との間には逆の関係がある。
  論文  参考訳（メタデータ） (2024-08-14T23:34:28Z)
• GraphEval: A Knowledge-Graph Based LLM Hallucination Evaluation Framework [1.9286785775296298]
  本稿では,知識グラフ構造における情報表現に基づく幻覚評価フレームワークGraphEvalを提案する。 我々のアプローチと最先端自然言語推論(NLI)モデルとの併用により、様々な幻覚ベンチマークにおけるバランスの取れた精度が向上する。
  論文  参考訳（メタデータ） (2024-07-15T15:11:16Z)
• Look Within, Why LLMs Hallucinate: A Causal Perspective [16.874588396996764]
  大規模言語モデル(LLM)は、生成人工知能のマイルストーンであり、テキスト理解と生成タスクにおいて大きな成功を収めている。 LLMは深刻な幻覚障害に悩まされ、LLMの実用化に重大な課題が生じた。 LLMの自己注意層に介入し,その構造とサイズをそのまま維持する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-14T10:47:44Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• LLM Internal States Reveal Hallucination Risk Faced With a Query [62.29558761326031]
  人間は、クエリに直面したとき、私たちが知らないことを認識できる自己認識プロセスを持っています。 本稿では,大規模言語モデルが応答生成に先立って,自身の幻覚リスクを推定できるかどうかを検討する。 確率推定器により, LLM自己評価を利用して, 平均幻覚推定精度84.32%を達成する。
  論文  参考訳（メタデータ） (2024-07-03T17:08:52Z)
• Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
  大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。 これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。 最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
  論文  参考訳（メタデータ） (2024-06-20T16:56:11Z)
• Graph Machine Learning in the Era of Large Language Models (LLMs) [44.25731266093967]
  グラフは、ソーシャルネットワーク、知識グラフ、分子発見など、さまざまな領域における複雑な関係を表現する上で重要な役割を果たす。 ディープラーニングの出現に伴い、グラフニューラルネットワーク(GNN)がグラフ機械学習(Graph ML)の基盤として登場した。 近年、LLMは言語タスクにおいて前例のない能力を示し、コンピュータビジョンやレコメンデータシステムなど様々なアプリケーションで広く採用されている。
  論文  参考訳（メタデータ） (2024-04-23T11:13:39Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
  グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。 本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。 評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-21T12:37:54Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• Hallucination Augmented Contrastive Learning for Multimodal Large Language Model [53.65682783591723]
  マルチモーダル大規模言語モデル(MLLM)は、自然言語と視覚情報を効率的に統合し、マルチモーダルタスクを処理できることが示されている。 しかし、MLLMは幻覚の基本的な限界に直面しており、誤った情報や偽情報を生成する傾向がある。 本稿では,MLLMにおける幻覚を表現学習の新たな視点から論じる。
  論文  参考訳（メタデータ） (2023-12-12T04:05:15Z)
• On Exploring the Reasoning Capability of Large Language Models with Knowledge Graphs [11.878708460150726]
  学習前の知識グラフからの情報をリコールする際のLLMの精度について2つの研究質問を定式化する。 これらの問題に対処するため,LLMを用いて4つの知識グラフ推論タスクを実行する。 実験の結果, LLMは, 単純かつ複雑な知識グラフ推論タスクを自身のメモリから処理できることがわかった。
  論文  参考訳（メタデータ） (2023-12-01T05:08:47Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。