論文の概要: REIN: Bridging the Gap between Reasoning and Reliability via Reflection and Abstention Alignment
- arxiv url: http://arxiv.org/abs/2608.07931v1
- Date: Sat, 08 Aug 2026 05:37:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.570308
- Title: REIN: Bridging the Gap between Reasoning and Reliability via Reflection and Abstention Alignment
- Title（参考訳）: REIN:ReasoningとReliabilityのギャップをリフレクションとAbstentionalignmentで埋める
- Abstract要約: 大規模な推論モデル(LRM)は幻覚を起こしやすいため、信頼性が損なわれ、安全な配置の課題が生じる。
構造的推論シーケンスを生成するためにLEMをトレーニングするアライメントフレームワークであるREINを提案する。
REINは、サンプル化された推論鎖のどれにも正しい答えが得られない場合、明示的な棄権を促す報酬機構を導入する。
- 参考スコア（独自算出の注目度）: 35.47736821237044
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large reasoning models (LRMs) are prone to hallucination, which undermines their reliability and poses challenges for safe deployment. Hallucinations in LRMs arise from two distinct failure sources: reasoning hallucination, where flawed inference steps propagate to an incorrect conclusion, and knowledge hallucination, where the model lacks the requisite factual knowledge to answer the query. To address reasoning hallucination, we propose REIN, an alignment framework that trains LRMs to produce a structured reasoning sequence, $\texttt{<think>} $$\rightarrow$ $\texttt{<reflection>} $$\rightarrow$ $\texttt{<answer>}$, enabling explicit self-reflection before committing to a final answer. To address knowledge hallucination, REIN introduces a reward mechanism that encourages explicit abstention (e.g., "I don't know") when none of the sampled reasoning chains yields a correct answer, allowing the model to refrain from unsupported predictions. Extensive evaluations on mathematical and commonsense reasoning benchmarks show that REIN consistently improves selective accuracy, reduces incorrect-but-self-endorsed responses, and maintains high coverage compared with competitive baselines. Notably, REIN achieves these gains within a single forward pass, without requiring process supervision, inference-time controllers, external search, or multi-round critiques. Experiments on multiple backbones show that REIN reduces the hallucination proxy by $58\sim72\%$ relative to the base models while maintaining $86\sim91\%$ average coverage, and improves selective accuracy on attempted questions by $6.6\sim14.2\%$.
- Abstract（参考訳）: 大規模な推論モデル(LRM)は幻覚を起こしやすいため、信頼性が損なわれ、安全な配置の課題が生じる。
LRMにおける幻覚は、2つの異なる失敗源から生じている: 推論の欠陥が誤った結論に伝播する推論法と、そのモデルがクエリに答えるために必要な事実知識を欠いている知識幻覚である。
推論幻覚に対処するため、REINはLEMをトレーニングして構造化推論シーケンスを生成するアライメントフレームワークである。$\texttt{<think>} $$\rightarrow$$\texttt{<reflection>} $$\rightarrow$$\texttt{<answer>}$。
知識幻覚に対処するために、REINは、サンプル化された推論連鎖が正しい答えを導き出さない場合に、明示的な棄権(例えば「私は知らない」)を促す報酬メカニズムを導入する。
数学的およびコモンセンス推論ベンチマークの広範囲な評価は、REINが選択精度を一貫して改善し、不正確だが自己依存の応答を低減し、競合するベースラインと比較して高いカバレッジを維持していることを示している。
特に、REINはプロセスの監督、推論時コントローラ、外部サーチ、複数ラウンドの批評を必要とせず、1回のフォワードパスでこれらのゲインを達成する。
複数のバックボーンでの実験では、REINは幻覚プロキシをベースモデルと比較して58\sim72\%の値で削減し、平均カバレッジは8.6\sim91\%の値で維持し、試行した質問に対する選択精度を6.6\sim14.2\%の値で改善している。
関連論文リスト
- BALTO: Balanced Token-Level Policy Optimization for Hallucination Mitigation [51.22170603236523]
幻覚緩和のためのバランスドトークンレベルの政策最適化フレームワークを提案する。
BalTOはチェック可能な事実クレームを抽出し、参照コンテキストに対して検証し、トークンレベルのラベルに対するクレームレベルの判断をプロジェクトする。
ConFiQA、RAGTruth、FinLLM-Evalの実験では、BALTOは6つのモデルで最高の忠実さを達成している。
論文 参考訳（メタデータ） (2026-06-14T16:25:59Z) - Reason Only When Needed: Efficient Generative Reward Modeling via Model-Internal Uncertainty [33.04999074297977]
E-GRMはモデル内不確実性に基づく効率的な生成報酬モデリングフレームワークである。
E-GRMは推論コストを大幅に削減し,解答精度を継続的に向上することを示した。
論文 参考訳（メタデータ） (2026-04-11T07:35:08Z) - From Conflict to Consensus: Boosting Medical Reasoning via Multi-Round Agentic RAG [65.0203623486525]
大規模言語モデル(LLM)は、医学的質問応答において高い推論能力を示す。
幻覚や時代遅れの知識を生み出す傾向は、医療分野において重大なリスクをもたらす。
既存の手法はノイズの多いトークンレベルの信号に依存しており、複雑な推論に必要なマルチラウンドの改良は欠如している。
論文 参考訳（メタデータ） (2026-02-06T08:25:30Z) - CTRL-RAG: Contrastive Likelihood Reward Based Reinforcement Learning for Context-Faithful RAG Models [29.703793991791674]
既存のRAG指向強化学習法は、文書の忠実さを評価するのにしばしば失敗する外部報酬に依存している。
コントラッシブ・ライリフッド・リワード(CLR)を中心とした新たな「内外的」ハイブリッド報酬枠組を提案する。
CLRは、エビデンスをサポートしないプロンプトで条件付けられたレスポンス間のログライクなギャップを直接最適化する。
論文 参考訳（メタデータ） (2026-02-02T12:21:59Z) - Adversarial Yet Cooperative: Multi-Perspective Reasoning in Retrieved-Augmented Language Models [72.4149653187766]
本稿ではAdrialversa Reasoning RAG(ARR)というReasoner-Verifierフレームワークを提案する。
ReasonerとVerifierは、回収された証拠を推論し、プロセス認識の利点によってガイドされながら、互いの論理を批判する。
複数のベンチマーク実験により,本手法の有効性が示された。
論文 参考訳（メタデータ） (2026-01-08T06:57:03Z) - Stop When Enough: Adaptive Early-Stopping for Chain-of-Thought Reasoning [46.106795445750855]
REFRAINはトレーニング不要のフレームワークで、理由付けをやめて過度に考えることを緩和する。
REFRAINは、標準的なCoTプロンプトと比較して、トークンの使用量を20～55%削減し、精度を維持または改善している。
論文 参考訳（メタデータ） (2025-10-11T08:30:00Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - Reinforcement Learning with Verifiable Rewards Implicitly Incentivizes Correct Reasoning in Base LLMs [35.27561531876348]
本稿では,LLVRを用いた強化学習が大規模言語モデル(LLM)に及ぼす影響を体系的に検討する。
RLVRは数学的タスクとコーディングタスクの両方の推論境界を拡張可能であることを示す。
本稿では,RLVRのインセンティブメカニズムを説明する理論的枠組みについて述べる。
論文 参考訳（メタデータ） (2025-06-17T07:06:56Z) - Joint Evaluation of Answer and Reasoning Consistency for Hallucination Detection in Large Reasoning Models [12.270274049887298]
トレースの推論は冗長あるいは論理的に矛盾する可能性があるため、新しい幻覚の源となる。
既存の幻覚検出法は主に回答レベルの不確実性に焦点を当てている。
LRMにおける幻覚検出に適した新しいフレームワークであるRASを提案する。
論文 参考訳（メタデータ） (2025-06-05T09:54:04Z) - Are Reasoning Models More Prone to Hallucination? [70.04436965009072]
最近進化した大推論モデル(LRM)は、長いチェーン・オブ・シークレット(CoT)推論能力を持つ複雑なタスクを解く上で、強力な性能を示している。
推論モデルは幻覚の傾向が強いか?
本稿では3つの観点からその問題に対処する。
論文 参考訳（メタデータ） (2025-05-29T16:53:41Z) - Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。
AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文 参考訳（メタデータ） (2025-04-21T04:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。