論文の概要: Building Reliable Long-Form Generation via Hallucination Rejection Sampling

• arxiv url: http://arxiv.org/abs/2606.03628v1
• Date: Tue, 02 Jun 2026 13:26:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.025045
• Title: Building Reliable Long-Form Generation via Hallucination Rejection Sampling
• Title（参考訳）: 幻覚除去サンプリングによる信頼性ロングフォームジェネレーションの構築
• Abstract要約: 大規模言語モデル(LLM)は、オープンエンドテキスト生成において顕著な進歩を遂げてきたが、誤ったあるいはサポートされていないコンテンツを幻覚させる傾向にある。 我々は、Segment-wise HAllucination Rejection Smpling (SHARS) という、新しい推論時幻覚緩和フレームワークを提案する。 SHARSは任意の幻覚検出器を使用して、生成中の幻覚セグメントを識別および拒絶し、忠実な内容が生成されるまで再サンプリングする。
• 参考スコア（独自算出の注目度）: 26.68294442366694
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) have achieved remarkable progress in open-ended text generation, yet they remain prone to hallucinating incorrect or unsupported content, which undermines their reliability. This issue is exacerbated in long-form generation due to hallucination snowballing, a phenomenon where early errors propagate and compound into subsequent outputs. To address this challenge, we propose a novel inference-time hallucination mitigation framework, named Segment-wise HAllucination Rejection Sampling (SHARS), which uses an arbitrary hallucination detector to identify and reject hallucinated segments during generation and resample until faithful content is produced. By retaining only confident information and building subsequent generations upon it, the framework mitigates hallucination accumulation and enhances factual consistency. To instantiate this framework, we adopt semantic uncertainty as the detector and introduce several vital modifications to address its limitations and better adapt it to long-form text. Our method enables models to self-correct hallucinations without requiring external resources such as web search or knowledge bases, while remaining compatible with them for future extensions. Empirical evaluations on standardized hallucination benchmarks demonstrate that our method substantially reduces hallucinations in long-form generation while preserving or even improving the informativeness of generation. Code is available at: https://github.com/TreeLLi/hallucination-rejection-sampling.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、オープンエンドテキスト生成において顕著な進歩を遂げているが、その信頼性を損なう不正またはサポートされたコンテンツを幻覚させる傾向にある。 この問題は、初期のエラーが伝播し、その後の出力に複合する現象である幻覚スノーボールにより、長期的な世代で悪化する。 この課題に対処するために、任意の幻覚検出器を用いて、生成中の幻覚を識別・除去し、忠実なコンテンツが生成されるまで再サンプリングする、Segment-wise HAllucination Rejection Sampling (SHARS) という新しい推論時幻覚緩和フレームワークを提案する。 自信のある情報のみを保持し、その後の世代を構築することにより、幻覚の蓄積を緩和し、事実整合性を高める。 このフレームワークをインスタンス化するために、意味的不確実性を検出器として採用し、その制限に対処し、長文に適応するためにいくつかの重要な修正を導入する。 提案手法は,Web検索や知識ベースなどの外部リソースを必要とせずに,将来的な拡張のためにモデルと互換性を保ちながら,幻覚を自己修正することを可能にする。 規格化幻覚ベンチマークの実証評価により,提案手法は長文生成における幻覚を著しく低減し,生成情報の保存や改善を図っている。 コードは、https://github.com/TreeLLi/hallucination-rejection-sampling.comで入手できる。

関連論文リスト

• Mitigating Entangled Steering in Large Vision-Language Models for Hallucination Reduction [49.96701537295129]
  LVLM(Large Vision-Language Models)は、モーダルなタスク間で大きな成功を収めてきたが、幻覚によって妨げられている。 既存の方法は幻覚を緩和するが、しばしば生成行動を変化させ、結果として出力が短くなり、トークンの分布がシフトする。 幻覚緩和のための制御および選択的な潜伏介入を行う効果的なプラグアンドプレイフレームワークであるMESAを提案する。
  論文  参考訳（メタデータ） (2026-04-09T07:31:27Z)
• Review of Hallucination Understanding in Large Language and Vision Models [65.29139004945712]
  本稿では,多様なアプリケーションにまたがる画像とテキストの幻覚を特徴付けるフレームワークを提案する。 我々の調査によると、幻覚はデータ分布や遺伝バイアスの予測可能なパターンから生じることが多い。 この調査は、現実世界の生成AIシステムにおける幻覚に対するより堅牢で効果的なソリューションを開発する基盤を提供する。
  論文  参考訳（メタデータ） (2025-09-26T09:23:08Z)
• HalluLens: LLM Hallucination Benchmark [49.170128733508335]
  大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。 本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:40:27Z)
• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• KSHSeek: Data-Driven Approaches to Mitigating and Detecting Knowledge-Shortcut Hallucinations in Generative Models [17.435794516702256]
  大規模言語モデル(LLM)は自然言語処理(NLP)の開発に大きく進歩している。 モデル幻覚は、複雑な原因のため、自然言語生成(NLG)タスクにおいて依然として大きな課題である。 この研究は、生成モデルにおける特定の幻覚の問題を緩和し、実世界のアプリケーションにおけるその堅牢性と信頼性を高めるための新しいパラダイムを導入する。
  論文  参考訳（メタデータ） (2025-03-25T09:18:27Z)
• ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
  大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。 現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。 本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:56:38Z)
• Ever: Mitigating Hallucination in Large Language Models through Real-Time Verification and Rectification [18.59695929601458]
  リアルタイム検証(Real-time Verification and Rectification)と呼ばれる新しいアプローチを導入する。 エバーは、リアルタイムでステップワイズな生成と幻覚の修正戦略を採用しています。 さまざまなタスクにまたがって、信頼できる、事実的に正確なテキストを生成することにおいて、大きな改善が示されています。
  論文  参考訳（メタデータ） (2023-11-15T17:04:56Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。