論文の概要: Hallucination Self-Play: Bootstrapping Reinforced Detector via Evolved Generator
- arxiv url: http://arxiv.org/abs/2607.07993v1
- Date: Wed, 08 Jul 2026 23:54:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.366637
- Title: Hallucination Self-Play: Bootstrapping Reinforced Detector via Evolved Generator
- Title（参考訳）: 幻覚自己再生:進化発電機によるブートストラップ強化検出器
- Abstract要約: 本稿では,Halucination Self-Play (HSP)を紹介した。
HSPには、同じベースモデルからの2つの役割、モデル出力の忠実さを評価する検出器、そしてより困難で検出しにくい幻覚を発生させるジェネレータが含まれる。
- 参考スコア（独自算出の注目度）: 26.48392794134755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Identifying faithfulness hallucinations in LLM-generated outputs remains challenging due to the scarcity of high-quality annotated data. Recent work relies on advanced LLMs to synthesize training data, including rationales, labels, and hallucinated claims. However, these methods treat the generator as a static component, limiting iterative improvement of the detector. To address this limitation, we introduce Hallucination Self-Play (HSP), a novel framework that enables the detector to bootstrap with an evolved generator. HSP involves two roles initialized from the same base model, a detector that assesses the faithfulness of model outputs, and a generator that produces increasingly hard-to-detect hallucinated responses. Specifically, the detector is first fine-tuned on human-labeled data and then employed as a reward model to train the generator via reinforcement learning from AI feedback (RLAIF). In turn, the evolved generator synthesizes hallucination data to further optimize the detector through rule-based reinforcement learning. Experiments on RAGTruth benchmark and two model families demonstrate that the proposed framework can progressively enhance a small LLM to match or even outperform advanced LLMs without external supervision. Our code is available at https://anonymous.4open.science/r/Hallucination-Self-Play-50B5 .
- Abstract（参考訳）: LLM出力における忠実度幻覚の同定は、高品質な注釈付きデータが不足しているため、依然として困難である。
最近の研究は、合理性、ラベル、幻覚的クレームを含む訓練データを合成する高度なLCMに依存している。
しかしながら、これらの方法はジェネレータを静的成分として扱い、検出器の反復的な改善を制限する。
この制限に対処するため,我々はHalucination Self-Play (HSP)を紹介した。
HSPは、同じベースモデルから初期化された2つの役割と、モデル出力の忠実さを評価する検出器と、より困難で検出しにくい幻覚応答を生成するジェネレータを含んでいる。
具体的には、まず人間のラベル付きデータに基づいて微調整を行い、次にAIフィードバック(RLAIF)からの強化学習を通じてジェネレータを訓練するための報酬モデルとして使用される。
進化したジェネレータは幻覚データを合成し、規則に基づく強化学習を通じて検出器をさらに最適化する。
RAGTruthベンチマークと2つのモデルファミリーの実験により、提案するフレームワークは、外部の監視なしに小さなLLMを段階的に拡張し、高度なLLMに適合したり、性能を向上したりできることを示した。
私たちのコードはhttps://anonymous.4open.science/r/Hallucination-Self-Play-50B5で利用可能です。
関連論文リスト
- UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations [61.85916280854257]
LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。
textbfUniProbeは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
論文 参考訳（メタデータ） (2026-08-11T12:01:59Z) - Toward Faithful Retrieval-Augmented Generation with Sparse Autoencoders [39.5490415037017]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)の事実性を改善する。
既存のRAGの幻覚検出法は、しばしば大規模な検出器の訓練に頼っている。
RAGLensは、RAG出力を正確にフラグする軽量幻覚検出器である。
論文 参考訳（メタデータ） (2025-12-09T18:33:22Z) - Mitigating Hallucination in VideoLLMs via Temporal-Aware Activation Engineering [83.63437999696954]
大規模言語モデル(MLLM)における幻覚は、ビデオ領域において重要かつ未適応な課題として持続する。
本稿では,幻覚に敏感なモジュールを適応的に識別し,操作するビデオLLMのための時間認識型アクティベーションエンジニアリングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-19T08:12:06Z) - Osiris: A Lightweight Open-Source Hallucination Detection System [30.63248848082757]
幻覚は、RAGシステムが本番環境に配備されるのを防ぐ。
幻覚を誘発したマルチホップQAデータセットを提案する。
RAGTruth 幻覚検出ベンチマークにおいて, GPT-4o よりも 7B モデルの方が良好なリコールを実現している。
論文 参考訳（メタデータ） (2025-05-07T22:45:59Z) - HalluLens: LLM Hallucination Benchmark [49.170128733508335]
大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。
本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
論文 参考訳（メタデータ） (2025-04-24T13:40:27Z) - Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。
本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
論文 参考訳（メタデータ） (2025-04-17T17:59:22Z) - Mitigating Entity-Level Hallucination in Large Language Models [11.872916697604278]
本稿では,大規模言語モデル(LLM)における幻覚の検出・緩和手法として,幻覚検出(DRAD)に基づく動的検索拡張を提案する。
実験の結果,LDMにおける幻覚の検出と緩和の両面において,DRADは優れた性能を示した。
論文 参考訳（メタデータ） (2024-07-12T16:47:34Z) - Enhancing Hallucination Detection through Perturbation-Based Synthetic Data Generation in System Responses [25.692970375644435]
本稿では,システム応答を書き換えることで,忠実な出力と幻覚的な出力の両方を自動的に生成する手法を提案する。
実験結果から、我々の生成したデータセットを微調整したT5ベースモデルが、最先端のゼロショット検出器を超越していることが判明した。
論文 参考訳（メタデータ） (2024-07-07T19:19:32Z) - Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [40.930238150365795]
我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。
プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。
そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
論文 参考訳（メタデータ） (2024-04-22T14:46:10Z) - InstaGen: Enhancing Object Detection by Training on Synthetic Dataset [59.445498550159755]
本稿では,オブジェクト検出機能の向上,例えばカテゴリ拡大や検出性能の向上など,新たなパラダイムを提案する。
我々は、インスタンスレベルのグラウンドヘッドを事前訓練された生成拡散モデルに統合し、生成された画像のインスタンスをローカライズする機能で拡張する。
我々は、InstaGenと呼ばれる拡散モデルの強化版がデータシンセサイザーとして機能することを示すために、徹底的な実験を行う。
論文 参考訳（メタデータ） (2024-02-08T18:59:53Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳（メタデータ） (2023-09-30T05:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。