論文の概要: Mycelium: A Meta-Study of Hallucination Detection Across Provenance, Typology, and Granularities

• arxiv url: http://arxiv.org/abs/2610.33608v1
• Date: Sat, 24 Oct 2026 11:20:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.371891
• Title: Mycelium: A Meta-Study of Hallucination Detection Across Provenance, Typology, and Granularities
• Title（参考訳）: Mycelium:ハロシン化検出のメタスタディ
• Abstract要約: ベンチマーク条件測定問題として幻覚検出について検討する。 我々は、ベンチマークの構築、アノテーション、評価の選択が、基礎となる予測タスクをどのように形成するかを分析する。
• 参考スコア（独自算出の注目度）: 1.320666976104401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hallucination detection is increasingly important for evaluating and deploying large language models. However, existing methods are often compared across benchmarks that define and measure hallucination in substantially different ways, making reported scores difficult to interpret across settings. We study hallucination detection as a benchmark-conditioned measurement problem and organize existing benchmarks along three axes: provenance, which describes how model outputs and evidence conditions are obtained; typology, which captures the factuality and faithfulness failures represented by benchmark labels; and granularity, which specifies the unit at which hallucinations are annotated, predicted, and evaluated. Using this framework, we analyze how benchmark construction, annotation, and evaluation choices shape the underlying prediction task, and relate detector mechanisms and assumptions to the settings in which their performance is measured. We also examine span-level evaluation, where variation in annotation boundaries can substantially affect reported results, and propose Span Coverage F1 as a complementary containment-based metric. Our analysis clarifies what detector scores capture, highlights limitations of cross-benchmark comparisons, and motivates more explicit evaluation of generalization across benchmark conditions.
• Abstract（参考訳）: 幻覚検出は、大規模言語モデルの評価とデプロイにおいてますます重要になっている。 しかし、既存の手法は幻覚を定義して測定するベンチマークで比較されることが多いため、報告されたスコアは設定間での解釈が困難である。 本稿では, ベンチマーク条件付き測定問題として幻覚検出について検討し, モデル出力とエビデンス条件の獲得方法を示す出典, ベンチマークラベルで表される事実と忠実性の失敗を捉える類型学, 幻覚が注釈付けされ, 予測され, 評価される単位を指定する粒度という3つの軸に沿って既存のベンチマークを整理する。 このフレームワークを用いて、ベンチマークの構築、アノテーション、評価の選択が、基礎となる予測タスクをどのように形成するかを分析し、検出機構と仮定を、それらの性能を測定する設定に関連付ける。 また,アノテーション境界の変動が報告結果に大きく影響しうるスパンレベル評価についても検討し,補完的包含量に基づく尺度としてSpan Coverage F1を提案する。 本分析は,検出器が取得するスコアを明確化し,ベンチマーク条件をまたいだ一般化のより明確な評価を動機とするクロスベンチマーク比較の限界を明らかにする。

関連論文リスト

• Benchmarking Neural Defend ARCAS 1B: A Foundational Multimodal Deepfake Detection Model [1.8241268937128006]
  本稿では,ベンチマーク固有のパラメータを更新することなく,ベンチマークファミリ間のニューラルデペンドARCAS 1Bを評価する。 ベンチマークネイティブの結果をプールされたサマリーと区別することにより、テスト人口、クラスバランス、記録の欠如を可視化する。
  論文  参考訳（メタデータ） (2026-09-21T09:15:02Z)
• Beyond Feature Importance: A Comparative Analysis of Pattern Detection Methods in Cluster Interpretation [3.8070256855916456]
  本研究では,クラスタリング結果におけるパターン検出のためのポストホック解析法の比較評価を行う。 LIME(Local Interpretable Model-Agnostic Explanations)と主成分分析(Principal component analysis)の3つの手法が広く用いられている。 その結果、各メソッドは関連する機能を回復できるが、どのパターンも常に検出できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-06T11:00:50Z)
• xList-Hate: A Checklist-Based Framework for Interpretable and Generalizable Hate Speech Detection [2.647843453311735]
  我々は、ヘイトスピーチ検出を明示的な概念レベルの質問のチェックリストに分解する診断フレームワークであるxList-Hateを紹介する。 診断信号は軽量で完全に解釈可能な決定木で集約され、透明で監査可能な予測が得られる。 以上の結果から,モノリシックな分類問題ではなく,診断的理由づけタスクとしてヘイトスピーチの検出をリフレーミングすることが示唆された。
  論文  参考訳（メタデータ） (2026-02-05T16:51:56Z)
• A Survey of Multimodal Hallucination Evaluation and Detection [52.03164192840023]
  MLLM(Multi-modal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なパラダイムとして登場した。 これらのモデルはしばしば幻覚に悩まされ、もっともらしいように見えるコンテンツを生成するが、入力内容や確立された世界的知識と矛盾する。 本調査では,イメージ・トゥ・テキスト(I2T)およびテキスト・トゥ・イメージ(T2I)生成タスクを対象とした幻覚評価ベンチマークと検出方法の詳細なレビューを行う。
  論文  参考訳（メタデータ） (2025-07-25T07:22:42Z)
• Garbage In, Reasoning Out? Why Benchmark Scores are Unreliable and What to Do About It [1.6261897792391753]
  我々は、SocialIQa、FauxPas-EAI、ToMiの3つの広く使われている推論ベンチマークの体系的な監査を行う。 ベンチマーク項目と評価手法の両方において,広範な欠陥を明らかにする。
  論文  参考訳（メタデータ） (2025-06-30T13:57:28Z)
• Hallucination Detection in LLMs with Topological Divergence on Attention Graphs [60.83579255387347]
  幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。 本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
  論文  参考訳（メタデータ） (2025-04-14T10:06:27Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• On the Ambiguity of Rank-Based Evaluation of Entity Alignment or Link Prediction Methods [27.27230441498167]
  本稿では,知識グラフから情報を得る方法として,リンク予測とエンティティアライメント(Entity Alignment)の2つのファミリについて,より詳しく検討する。 特に、既存のスコアはすべて、異なるデータセット間で結果を比較するのにほとんど役に立たないことを実証する。 これは結果の解釈において様々な問題を引き起こしており、誤解を招く結論を裏付ける可能性がある。
  論文  参考訳（メタデータ） (2020-02-17T12:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。