論文の概要: Is Imagination Derived from Hallucination? A Cross-Taxonomy Evaluation of Imagination and Hallucination in Large Language Models
- arxiv url: http://arxiv.org/abs/2609.22152v1
- Date: Wed, 26 Aug 2026 09:00:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.735136
- Title: Is Imagination Derived from Hallucination? A Cross-Taxonomy Evaluation of Imagination and Hallucination in Large Language Models
- Title(参考訳): イマジネーションは幻覚に由来するか? : 大規模言語モデルにおけるイマジネーションと幻覚の相互タクソノミーによる評価
- Abstract要約: 想像力評価のための最初のベンチマークであるWhiteboardを提案する。
ホワイトボードは、明示的なサポートチェックですべてのイマジネーションスコアをゲートし、監査可能な原子行列を通して両方の軸を決定的に計算する。
共有80イットのアンカーセットを用いて79個の最先端LCMを評価し,13,280人の人的判断に対する評価を行った。
- 参考スコア(独自算出の注目度): 11.336663943754727
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Imagination performs as a high-level function of large language models (LLMs) which determines the potential of how an LLM creates unseen or creative content. While existing works have built a rich family of creativity benchmarks for this ability, they only measure how far an output departs from common answers and never check whether the departure is licensed by the prompt. Moreover, hallucination, the closest neighbor of imagination, is always measured in a separate pipeline on different generations, so the influential claim that imagination and hallucination stem from the same generative mechanism has never been directly testable. In this paper, we propose Whiteboard, the first LLM imagination evaluation benchmark. Its design follows the authoritative cognitive instruments developed to measure human imagination: seven mechanism-grounded imagination subtypes are adapted from classic paradigms, then crossed with ten support-boundary hallucination subtypes and scored jointly on the same generation. Different from previous creativity or hallucination benchmarks, Whiteboard gates every imagination score with an explicit support check and computes both axes deterministically through an auditable atom matrix, with no LLM judge on the primary path. The full Whiteboard item bank contains 1,660 prompts; on its shared 80-item anchor set, we evaluate 79 state-of-the-art LLMs and validate the instrument against 13,280 human judgments. Additionally, we further explore whether imagination derives from the same generative tendency as hallucination and what key factors shape it. Our analysis indicates a counterintuitive correlation between hallucination and imagination: Most of the subtype couplings are negative, every one of the anchor items reproduces the negative coupling on its own.
- Abstract(参考訳): イマジネーションは大きな言語モデル(LLM)の高レベル機能として機能し、LLMが目に見えない、あるいは創造的なコンテンツを生成する可能性を決定する。
既存の作業では、この能力のための豊富な創造性ベンチマークが構築されていますが、アウトプットが一般的な回答からどのくらい離れているかを計測するだけで、インプロンプトによってアウトプットがライセンスされているかどうかを確認できません。
さらに、想像の最も近い隣人である幻覚は、常に異なる世代で別々のパイプラインで測定されるため、想像と幻覚が同じ生成機構に由来するという有力な主張は直接的に検証されることはなかった。
本稿では,最初のLCM想像力評価ベンチマークであるWhiteboardを提案する。
その設計は、人間の想像力を測定するために開発された権威ある認知装置に従う:7つのメカニズム基底の想像力のサブタイプは古典的なパラダイムから適応され、10つのサポート境界の幻覚のサブタイプと交差し、同じ世代で共同で得点する。
以前の創造性や幻覚のベンチマークとは異なり、ホワイトボードは明示的なサポートチェックですべての想像力スコアをゲートし、監査可能な原子行列を通して両軸を決定的に計算する。
ホワイトボードのアイテムバンクには1,660のプロンプトがあり、80イテムのアンカーセットで79の最先端のLCMを評価し、13,280人の人的判断に対してその楽器を検証する。
さらに、幻覚と同じ生成傾向から想像力が導かれるのか、また、どのような要因が幻覚を形作るのかについても検討する。
我々の分析は幻覚と想像の反直感的相関を示している: サブタイプカップリングのほとんどは負であり、アンカーアイテムのそれぞれが負のカップリングを自分自身で再現する。
関連論文リスト
- VOPE: Revisiting Hallucination of Vision-Language Models in Voluntary Imagination Task [73.75049937317506]
本稿では,自発的想像課題におけるLVLMの幻覚を評価するために,自発的物体存在評価(VOPE)を導入する。
VOPEはリチェックベースの質問を行い、LVLMが想像対象の存在を自身の反応で解釈する方法を評価する。
モデル解釈と画像におけるオブジェクトの存在との間の一貫性は、モデルが応答を生成する際に幻覚を引き起こすかどうかを決定するために使用される。
論文 参考訳(メタデータ) (2025-11-17T14:32:06Z) - Beyond Facts: Evaluating Intent Hallucination in Large Language Models [13.315302240710164]
FAITHQAは20,068問題を含む意図幻覚の新しいベンチマークである。
我々は、最先端のモデルにおいても意図幻覚は一般的な問題であると考えている。
意図の幻覚を検出するための自動LLM生成評価指標であるCONSTRAINT SCOREを導入する。
論文 参考訳(メタデータ) (2025-06-06T21:10:55Z) - Purposefully Induced Psychosis (PIP): Embracing Hallucination as Imagination in Large Language Models [0.0]
大規模言語モデル(LLM)における幻覚は、広く誤りとみなされている。
創造的あるいは探索的な文脈では、これらの「間違い」はイノベーションの予期せぬ道を表しているかもしれない。
PIP(Powposefully induced Psychosis)は,LLM幻覚を視覚的タスクに増幅する新しいアプローチである。
論文 参考訳(メタデータ) (2025-04-16T12:13:02Z) - Interpreting and Mitigating Hallucination in MLLMs through Multi-agent Debate [34.17353224636788]
MLLMにおける幻覚は、部分的には、これらのモデルにおいてゆっくり考え、異なる考えが欠如しているためである、と我々は主張する。
我々のアプローチは幻覚だけでなく、それらがなぜ起こるのかを解釈し、幻覚の特異点を詳述する。
論文 参考訳(メタデータ) (2024-07-30T02:41:32Z) - AutoHallusion: Automatic Generation of Hallucination Benchmarks for Vision-Language Models [91.78328878860003]
視覚言語モデル(LVLM)は幻覚の傾向が強い。
ベンチマークは多くの場合、障害パターンが一般化できない手作りのコーナーケースに依存します。
最初の自動ベンチマーク生成手法であるAutoHallusionを開発した。
論文 参考訳(メタデータ) (2024-06-16T11:44:43Z) - Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。
我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。
本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
論文 参考訳(メタデータ) (2024-01-12T19:02:48Z) - Alleviating Hallucinations of Large Language Models through Induced
Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。
幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-25T12:32:49Z) - On Early Detection of Hallucinations in Factual Question Answering [4.76359068115052]
幻覚は依然として ユーザーの信頼を得るための大きな障害です
本研究では、モデル生成に関連するアーティファクトが、生成が幻覚を含むことを示すヒントを提供することができるかどうかを探索する。
以上の結果から,これらのアーティファクトの分布は,ハロゲン化世代と非ハロゲン化世代の違いが示唆された。
論文 参考訳(メタデータ) (2023-12-19T14:35:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。