論文の概要: Building Reliable Long-Form Generation via Hallucination Rejection Sampling

• arxiv url: http://arxiv.org/abs/2606.03628v1
• Date: Tue, 02 Jun 2026 13:26:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.025045
• Title: Building Reliable Long-Form Generation via Hallucination Rejection Sampling
• Title（参考訳）: 幻覚除去サンプリングによる信頼性ロングフォームジェネレーションの構築
• Authors: Lin Li, Georgia Channing, Suhaas M Bhat, Gabriel Davis Jones, Yarin Gal,
• Abstract要約: 大規模言語モデル(LLM)は、オープンエンドテキスト生成において顕著な進歩を遂げてきたが、誤ったあるいはサポートされていないコンテンツを幻覚させる傾向にある。 我々は、Segment-wise HAllucination Rejection Smpling (SHARS) という、新しい推論時幻覚緩和フレームワークを提案する。 SHARSは任意の幻覚検出器を使用して、生成中の幻覚セグメントを識別および拒絶し、忠実な内容が生成されるまで再サンプリングする。
• 参考スコア（独自算出の注目度）: 26.68294442366694
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) have achieved remarkable progress in open-ended text generation, yet they remain prone to hallucinating incorrect or unsupported content, which undermines their reliability. This issue is exacerbated in long-form generation due to hallucination snowballing, a phenomenon where early errors propagate and compound into subsequent outputs. To address this challenge, we propose a novel inference-time hallucination mitigation framework, named Segment-wise HAllucination Rejection Sampling (SHARS), which uses an arbitrary hallucination detector to identify and reject hallucinated segments during generation and resample until faithful content is produced. By retaining only confident information and building subsequent generations upon it, the framework mitigates hallucination accumulation and enhances factual consistency. To instantiate this framework, we adopt semantic uncertainty as the detector and introduce several vital modifications to address its limitations and better adapt it to long-form text. Our method enables models to self-correct hallucinations without requiring external resources such as web search or knowledge bases, while remaining compatible with them for future extensions. Empirical evaluations on standardized hallucination benchmarks demonstrate that our method substantially reduces hallucinations in long-form generation while preserving or even improving the informativeness of generation. Code is available at: https://github.com/TreeLLi/hallucination-rejection-sampling.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、オープンエンドテキスト生成において顕著な進歩を遂げているが、その信頼性を損なう不正またはサポートされたコンテンツを幻覚させる傾向にある。 この問題は、初期のエラーが伝播し、その後の出力に複合する現象である幻覚スノーボールにより、長期的な世代で悪化する。 この課題に対処するために、任意の幻覚検出器を用いて、生成中の幻覚を識別・除去し、忠実なコンテンツが生成されるまで再サンプリングする、Segment-wise HAllucination Rejection Sampling (SHARS) という新しい推論時幻覚緩和フレームワークを提案する。 自信のある情報のみを保持し、その後の世代を構築することにより、幻覚の蓄積を緩和し、事実整合性を高める。 このフレームワークをインスタンス化するために、意味的不確実性を検出器として採用し、その制限に対処し、長文に適応するためにいくつかの重要な修正を導入する。 提案手法は,Web検索や知識ベースなどの外部リソースを必要とせずに,将来的な拡張のためにモデルと互換性を保ちながら,幻覚を自己修正することを可能にする。 規格化幻覚ベンチマークの実証評価により,提案手法は長文生成における幻覚を著しく低減し,生成情報の保存や改善を図っている。 コードは、https://github.com/TreeLLi/hallucination-rejection-sampling.comで入手できる。

関連論文リスト

• HalluLens: LLM Hallucination Benchmark [49.170128733508335]
  大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。 本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:40:27Z)
• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• Ever: Mitigating Hallucination in Large Language Models through Real-Time Verification and Rectification [18.59695929601458]
  リアルタイム検証(Real-time Verification and Rectification)と呼ばれる新しいアプローチを導入する。 エバーは、リアルタイムでステップワイズな生成と幻覚の修正戦略を採用しています。 さまざまなタスクにまたがって、信頼できる、事実的に正確なテキストを生成することにおいて、大きな改善が示されています。
  論文  参考訳（メタデータ） (2023-11-15T17:04:56Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。