論文の概要: Stemming Hallucination in Language Models Using a Licensing Oracle
- arxiv url: http://arxiv.org/abs/2511.06073v1
- Date: Sat, 08 Nov 2025 17:07:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-11 21:18:44.740963
- Title: Stemming Hallucination in Language Models Using a Licensing Oracle
- Title(参考訳): ライセンスOracleを用いた言語モデルにおける幻覚のステミング
- Authors: Simeon Emanuilov, Richard Ackermann,
- Abstract要約: この研究は、LMの幻覚を抑えるように設計されたアーキテクチャソリューションであるLicensing Oracleを紹介します。
Licensing Oracleは、決定論的検証ステップをモデルの生成プロセスに組み込んで、事実的に正確なクレームのみを確実にします。
Licensing Oracleは、ファクトベースドメインの幻覚に対処するために特別に設計されたものだが、そのフレームワークは、将来のAIシステムにおける真理に制約された世代の基礎を成している。
- 参考スコア(独自算出の注目度): 0.42970700836450487
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models exhibit remarkable natural language generation capabilities but remain prone to hallucinations, generating factually incorrect information despite producing syntactically coherent responses. This study introduces the Licensing Oracle, an architectural solution designed to stem hallucinations in LMs by enforcing truth constraints through formal validation against structured knowledge graphs. Unlike statistical approaches that rely on data scaling or fine-tuning, the Licensing Oracle embeds a deterministic validation step into the model's generative process, ensuring that only factually accurate claims are made. We evaluated the effectiveness of the Licensing Oracle through experiments comparing it with several state-of-the-art methods, including baseline language model generation, fine-tuning for factual recall, fine-tuning for abstention behavior, and retrieval-augmented generation (RAG). Our results demonstrate that although RAG and fine-tuning improve performance, they fail to eliminate hallucinations. In contrast, the Licensing Oracle achieved perfect abstention precision (AP = 1.0) and zero false answers (FAR-NE = 0.0), ensuring that only valid claims were generated with 89.1% accuracy in factual responses. This work shows that architectural innovations, such as the Licensing Oracle, offer a necessary and sufficient solution for hallucinations in domains with structured knowledge representations, offering guarantees that statistical methods cannot match. Although the Licensing Oracle is specifically designed to address hallucinations in fact-based domains, its framework lays the groundwork for truth-constrained generation in future AI systems, providing a new path toward reliable, epistemically grounded models.
- Abstract(参考訳): 言語モデルは、顕著な自然言語生成能力を示すが、幻覚に傾向があり、構文的に一貫性のある応答を生成するにもかかわらず、事実的に誤った情報を生成する。
本研究は,構造化知識グラフに対する形式的検証を通じて真理制約を強制することにより,LMの幻覚を緩和するアーキテクチャソリューションであるLicensing Oracleを紹介する。
データスケーリングや微調整に依存する統計的アプローチとは異なり、Licensing Oracleは決定論的検証ステップをモデルの生成プロセスに組み込んで、事実的に正確なクレームのみを確実にする。
我々は,Oracle ライセンスの有効性を,ベースライン言語モデル生成,ファインタニング,ファインタニング,禁忌行動のファインタニング,検索強化生成(RAG)など,最先端の手法との比較実験により評価した。
以上の結果から,RAGと微調整は性能を向上するが,幻覚の除去には至らなかったことが示唆された。
対照的に、Licensing Oracle は完全な棄却精度 (AP = 1.0) とゼロ偽解 (FAR-NE = 0.0) を達成し、実際の応答で89.1%の精度で有効なクレームのみが生成されることを保証した。
この研究は、Licensing Oracleのようなアーキテクチャの革新が、構造化知識表現を持つドメインにおける幻覚に必要な、十分なソリューションを提供し、統計的手法が一致しないことを保証していることを示している。
Licensing Oracleは、ファクトベースドメインの幻覚に対処するために特別に設計されたものだが、そのフレームワークは、将来のAIシステムにおける真理に制約された世代の基礎を築き、信頼性があり、認識論的に根ざしたモデルへの新たな道筋を提供する。
関連論文リスト
- Multi-Modal Fact-Verification Framework for Reducing Hallucinations in Large Language Models [0.0]
大規模言語モデルは、妥当に聞こえる偽情報を生成する。
この幻覚問題は、これらのモデルを現実世界のアプリケーションにデプロイする上で大きな障壁となっている。
我々は,これらのエラーをリアルタイムでキャッチし,修正する事実検証フレームワークを開発した。
論文 参考訳(メタデータ) (2025-10-26T16:58:54Z) - Counterfactual Probing for Hallucination Detection and Mitigation in Large Language Models [0.0]
本研究では,大規模言語モデルにおける幻覚の検出と緩和のための新しいアプローチである,対物探索を提案する。
提案手法は, 疑わしいが微妙な事実誤りを含む反事実文を動的に生成し, これらの摂動に対するモデルの感度を評価する。
論文 参考訳(メタデータ) (2025-08-03T17:29:48Z) - SHACL Validation in the Presence of Ontologies: Semantics and Rewriting Techniques [6.882042556551609]
SHACLは、データを完全として扱う制約言語であり、クローズドワールドの仮定の下で検証する必要がある。
我々は、主要なコアユニバーサルモデルの存在下で、SHACL検証のセマンティクスを提唱する。
非常に単純な機能であっても、EXPTIMEは完全であり、PTIMEはデータ複雑性において完全であることを示す。
論文 参考訳(メタデータ) (2025-07-16T14:38:27Z) - Estimating Correctness Without Oracles in LLM-Based Code Generation [10.204622104311014]
オラクルが存在しない場合に効率的に推定できる不整合(incoherence)と呼ばれる不整合の尺度を提案する。
平均的なコード生成タスクでは,不正なプログラムの約3分の2を自動的に識別することができる。
論文 参考訳(メタデータ) (2025-06-26T22:00:50Z) - Don't Let It Hallucinate: Premise Verification via Retrieval-Augmented Logical Reasoning [19.30729301157088]
生成前の偽の前提を特定し,対処する検索ベースのフレームワークを提案する。
実験によると、このアプローチは幻覚を効果的に減らし、事実の精度を向上し、モデルロジットへのアクセスや大規模微調整を必要としない。
論文 参考訳(メタデータ) (2025-04-08T21:14:48Z) - Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification [116.77055746066375]
大型言語モデル(LLM)は幻覚、すなわちその出力に誤った主張を生じさせることで有名である。
本稿では,トークンレベルの不確実性定量化に基づくファクトチェックと幻覚検出パイプラインを提案する。
論文 参考訳(メタデータ) (2024-03-07T17:44:17Z) - Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳(メタデータ) (2023-11-14T18:59:15Z) - FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。
FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。
Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
論文 参考訳(メタデータ) (2023-10-18T16:27:49Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳(メタデータ) (2023-09-27T14:44:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。