論文の概要: SOPO: Socratic Guided Policy Optimization for Span-Level Hallucination Detection

• arxiv url: http://arxiv.org/abs/2610.32212v1
• Date: Fri, 23 Oct 2026 06:08:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.404529
• Title: SOPO: Socratic Guided Policy Optimization for Span-Level Hallucination Detection
• Title（参考訳）: SOPO:Span-Level Hallucination Detectionのためのソクラティックガイドポリシー最適化
• Abstract要約: 本稿では,ロバスト幻覚検出のためのマルチターンRLフレームワークであるSocratic Guided Policy Optimization (SOPO)を紹介する。 教師モデルは、地上の真実から推測される間接的なヒントを提供することで、ロールアウト中の推論軌跡を案内する。 Turn-based Advantage Scalingを取り入れて、冗長性バイアスを罰し、モデルに効率的かつ自律的な推論機能を開発するように促します。
• 参考スコア（独自算出の注目度）: 6.8847864191469155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have gained widespread adoption in various natural language processing tasks, but suffer from hallucination issues where they generate unfaithful or inconsistent content. While Reinforcement Learning with Verifiable Rewards (RLVR) has shown promising applications in reasoning tasks, its application to span-level hallucination detection is challenged by localization ambiguity, reward sparsity on hard examples, and uncontrolled length inflation. To address these issues, we introduce Socratic Guided Policy Optimization (SOPO), a multi-turn RL framework for robust hallucination detection. The key innovation of SOPO is a Socratic feedback mechanism, where a teacher model guides the reasoning trajectories during rollout by providing indirect hints inferred from the ground truth. This teacher-guided approach enables the model to generate more effective reasoning trajectories for hard examples, thus alleviating reward sparsity. Furthermore, we incorporate Turn-based Advantage Scaling to penalize verbosity bias, encouraging the model to develop efficient and autonomous reasoning capabilities. Empirical results on RAGTruth demonstrate that SOPO (4B) achieves state-of-the-art performance, surpassing leading proprietary models (e.g., GPT-5) and standard RL baselines, while obtaining higher reported mean scores than GRPO on four out-of-domain benchmarks, with mixed evidence against CAPO. We release our training and evaluation code alongside the 1.7B and 4B SOPO models at https://github.com/patsnap/SOPO.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な自然言語処理タスクで広く採用されているが、不誠実または一貫性のないコンテンツを生成する幻覚の問題に悩まされている。 Reinforcement Learning with Verifiable Rewards (RLVR) はタスクの推論に有望な応用を示す一方で, 局所化曖昧性, ハードケースへの報酬の分散, 制御されていない長さのインフレーションなどにより, 広義の幻覚検出への応用が課題視されている。 これらの問題に対処するため,我々は,堅牢な幻覚検出のためのマルチターンRLフレームワークであるソクラティックガイドポリシー最適化(SOPO)を紹介した。 SOPOの鍵となる革新はソクラテスのフィードバックメカニズムであり、教師モデルは、真実から推測される間接的なヒントを提供することで、ロールアウト中の推論軌跡を案内する。 この教師誘導型アプローチは、厳格な例のためのより効果的な推論軌跡をモデルが生成し、報酬の分散を緩和する。 さらに、ターンベースのアドバンテージスケーリングを導入し、冗長性バイアスをペナルティ化し、モデルに効率的かつ自律的な推論機能を開発するよう促す。 RAGTruthの実証的な結果は、SOPO(4B)が最先端のプロプライエタリモデル(例えばGPT-5)と標準RLベースラインを上回り、4つのベンチマークでGRPOよりも高い平均スコアを得る一方で、CAPOに対して混合的な証拠を持つことを示した。 我々は1.7Bと4BのSOPOモデルと共にトレーニングコードと評価コードをhttps://github.com/patsnap/SOPOでリリースします。

関連論文リスト

• Not All Tokens See Equally: Perception-Grounded Policy Optimization for Large Vision-Language Models [38.47027398567909]
  Perception-Grounded Policy Optimization (PGPO)は、トークンレベルでのメリットを動的に再評価する、新しいきめ細かなクレジット割り当てフレームワークである。 PGPOは,言語的先行音からの勾配雑音を抑えつつ,視覚的に依存するトークンの学習信号を積極的に増幅することを示す。 理論的および実証的な分析は、PGPOが勾配の分散を効果的に減少させ、訓練の崩壊を防ぎ、頑健で知覚的なマルチモーダル推論のための強力な正則化剤として機能することを確認する。
  論文  参考訳（メタデータ） (2026-04-02T09:53:20Z)
• P^2O: Joint Policy and Prompt Optimization [74.45293488495592]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデル(LLM)の推論能力を高めるための強力なパラダイムとして登場した。 プロンプト最適化とポリシー最適化を相乗化する新しいフレームワークであるP2Oを提案する。
  論文  参考訳（メタデータ） (2026-03-23T12:08:47Z)
• Perception-Aware Policy Optimization for Multimodal Reasoning [79.56070395437898]
  現在のマルチモーダル推論における誤りの主な原因は、視覚入力の知覚にある。 提案するPAPOは,モデルが推論を学習しながら知覚を学習することを奨励する,新しいポリシー勾配アルゴリズムである。 知覚誤りの30.5%が有意に減少し,PAPOによる知覚能力の向上が示唆された。
  論文  参考訳（メタデータ） (2025-07-08T23:22:34Z)
• ExPO: Unlocking Hard Reasoning with Self-Explanation-Guided Reinforcement Learning [12.83211408922535]
  強化学習スタイルのポストトレーニングは、報酬や選好信号に基づいてモデル出力を最適化することで推論を改善する。 GRPOスタイルのアプローチでは、結果ベースの検証によってラベル付けされた自己生成サンプルを使用することでこれを実装している。 提案手法は, 基本的回答を条件に, 単純でモジュール化されたフレームワークである。
  論文  参考訳（メタデータ） (2025-07-03T17:44:55Z)
• From $r$ to $Q^*$: Your Language Model is Secretly a Q-Function [50.812404038684505]
  我々は,ベルマン方程式を満たす一般逆Q-ラーニングアルゴリズムとして,トークンレベルMDPのDPOを導出できることを示す。 本稿では,マルチターン対話における情報活用,推論,エージェント応用,マルチモデルシステムのエンドツーエンドトレーニングなど,我々の研究の応用について論じる。
  論文  参考訳（メタデータ） (2024-04-18T17:37:02Z)
• Fine-Tuning Language Models with Advantage-Induced Policy Alignment [80.96507425217472]
  大規模言語モデルと人間の嗜好を整合させる新しいアルゴリズムを提案する。 言語タスクにおいてPPOを常に上回り、大きなマージンを持つことを示す。 また,損失関数の設計を支援する理論的正当性も提供する。
  論文  参考訳（メタデータ） (2023-06-04T01:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。