論文の概要: A Geometric Analysis of Small-sized Language Model Hallucinations
- arxiv url: http://arxiv.org/abs/2602.14778v2
- Date: Tue, 17 Feb 2026 19:50:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-19 13:51:30.969074
- Title: A Geometric Analysis of Small-sized Language Model Hallucinations
- Title（参考訳）: 小型言語モデル幻覚の幾何学的解析
- Authors: Emanuele Ricco, Elia Onofri, Lorenzo Cima, Stefano Cresci, Roberto Di Pietro,
- Abstract要約: 幻覚は言語モデルの信頼性に大きな課題をもたらす。
モデルが同じプロンプトに対して複数の応答を生成するとき、真のものが埋め込み空間においてより厳密なクラスタリングを示すという仮説を実証する。
また,一貫した分離性を実現することが可能であることを示す。
- 参考スコア（独自算出の注目度）: 2.119461028150219
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hallucinations -- fluent but factually incorrect responses -- pose a major challenge to the reliability of language models, especially in multi-step or agentic settings. This work investigates hallucinations in small-sized LLMs through a geometric perspective, starting from the hypothesis that when models generate multiple responses to the same prompt, genuine ones exhibit tighter clustering in the embedding space, we prove this hypothesis and, leveraging this geometrical insight, we also show that it is possible to achieve a consistent level of separability. This latter result is used to introduce a label-efficient propagation method that classifies large collections of responses from just 30-50 annotations, achieving F1 scores above 90%. Our findings, framing hallucinations from a geometric perspective in the embedding space, complement traditional knowledge-centric and single-response evaluation paradigms, paving the way for further research.
- Abstract（参考訳）: 言語モデルの信頼性には、特にマルチステップやエージェント的な設定において、幻覚(幻覚) -- 流動的だが事実的に誤った反応 -- が大きな課題となる。
本研究では, モデルが同一のプロンプトに対して複数の応答を発生させると, 真のものが埋め込み空間に密集したクラスタリングを示すという仮説から, 幾何学的視点による小型LLMの幻覚を考察し, この仮説を証明し, この幾何学的洞察を利用して, 分離性の一貫したレベルを達成可能であることを示す。
後者の結果は、たった30～50のアノテーションから大量のレスポンスを分類し、F1スコアを90%以上達成するラベル効率のよい伝搬法を導入するために使われる。
我々の発見は,埋め込み空間における幾何学的視点からの幻覚のフレーミングであり,従来の知識中心・単一応答評価パラダイムを補完するものであり,さらなる研究の道を開くものである。
関連論文リスト
- A novel hallucination classification framework [0.0]
本研究では,大規模言語モデル(LLM)における幻覚の自動検出手法を提案する。
提案手法は,素早い工学的手法による系統分類と多様な幻覚の再現制御に基づく。
論文 参考訳（メタデータ） (2025-10-06T09:54:20Z) - Geometric Uncertainty for Detecting and Correcting Hallucinations in LLMs [4.221653547698336]
幻覚検出の戦略として不確かさ定量化が提案されている。
既存のブラックボックスアプローチは、大域的および局所的不確実性の両方の見積もりを提供していない。
ブラックボックスモデルアクセスのみでサンプリングされた応答のバッチの解析に基づいて,この問題に対処するための幾何学的枠組みを提案する。
論文 参考訳（メタデータ） (2025-09-17T08:28:07Z) - Theoretical Foundations and Mitigation of Hallucination in Large Language Models [0.0]
LLM(英: Hallucination in Large Language Models)とは、入力や実世界の事実に忠実でないコンテンツの生成を指す用語である。
本稿では, LLMにおける幻覚の厳密な処理について述べる。
論文 参考訳（メタデータ） (2025-07-20T15:22:34Z) - MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
マルチモーダル幻覚は多源性であり、様々な原因から生じる。
既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
論文 参考訳（メタデータ） (2025-05-30T05:54:36Z) - Learning Auxiliary Tasks Improves Reference-Free Hallucination Detection in Open-Domain Long-Form Generation [78.78421340836915]
オープンドメイン長文応答における参照なし幻覚検出を系統的に検討する。
その結果,内的状態は事実と幻覚的内容とを確実に区別するには不十分であることが判明した。
RATE-FTと呼ばれる新しいパラダイムを導入し、モデルが幻覚検出のメインタスクと共同で学習するための補助的なタスクで微調整を強化する。
論文 参考訳（メタデータ） (2025-05-18T07:10:03Z) - Towards Long Context Hallucination Detection [49.195854802543714]
大規模言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示している。
それらは文脈の幻覚に傾向があり、与えられた文脈に不一致または矛盾した情報を生成する。
本稿では,BERTのような事前学習したエンコーダモデルを用いて,長期のコンテキストを処理し,文脈の幻覚を効果的に検出するアーキテクチャを提案する。
論文 参考訳（メタデータ） (2025-04-28T03:47:05Z) - Mapping of Subjective Accounts into Interpreted Clusters (MOSAIC): Topic Modelling and LLM applied to Stroboscopic Phenomenology [0.6282171844772422]
閉じた目のストロボスコープ光刺激(SLS)は、通常単純な視覚幻覚(VHs)を引き起こす
422件の公開主観的報告から抽出された852文のデータセットが,近年,ドリーマカインプログラムの一部として編纂された(収集法,2022)。
論文 参考訳（メタデータ） (2025-02-25T16:11:40Z) - Reefknot: A Comprehensive Benchmark for Relation Hallucination Evaluation, Analysis and Mitigation in Multimodal Large Language Models [13.48296910438554]
我々は2万以上の実世界のサンプルからなる関係幻覚を対象とする総合的なベンチマークであるReefknotを紹介した。
関係幻覚を体系的に定義し、知覚的視点と認知的視点を統合するとともに、Visual Genomeのシーングラフデータセットを用いて関係ベースのコーパスを構築する。
本稿では,Reefknotを含む3つのデータセットに対して,幻覚率を平均9.75%削減する信頼性に基づく新たな緩和戦略を提案する。
論文 参考訳（メタデータ） (2024-08-18T10:07:02Z) - Fine-Grained Self-Endorsement Improves Factuality and Reasoning [72.83651220132495]
本研究は, 大規模言語モデル (LLM) 世代を推定時に改善するために, ファクト・コンプレッション・幻覚を緩和する。
本稿では,複数のサンプル応答におけるファクトレベルの詳細な比較を生かした自己組織化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-23T22:24:40Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳（メタデータ） (2023-09-30T05:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。