論文の概要: GeneralThinker: Domain-General Reasoning through Likelihood-Guided Answer-Conditioned Optimization

• arxiv url: http://arxiv.org/abs/2605.27934v1
• Date: Wed, 27 May 2026 04:07:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.739078
• Title: GeneralThinker: Domain-General Reasoning through Likelihood-Guided Answer-Conditioned Optimization
• Title（参考訳）: GeneralThinker: Likelihood-Guided Answer-Conditioned Optimizationによるドメイン・ジェネラル推論
• Authors: Shengmin Piao, Sanghyun Park,
• Abstract要約: GeneralThinker(ジェネラルシンカー)は、厳密な回答条件の最適化として推論の監督を改革する、政治上のフレームワークである。 GeneralThinkerは、接地真実解の確率を用いて、生成された推論軌道を評価する。 クリッピングと方向保存変調によるトークンレベルの更新を制限します。
• 参考スコア（独自算出の注目度）: 4.732347368043908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards improves language model reasoning, but its reliance on domain-specific verifiers, sparse outcome rewards, and coarse-grained credit assignment limits its applicability. We introduce GeneralThinker, an on-policy framework that reformulates reasoning supervision as dense answer-conditioned optimization, enabling response-level evaluation and token-level credit assignment without domain-specific verifiers. GeneralThinker evaluates generated reasoning trajectories using the likelihood of the ground-truth answer and derives token-wise compatibility signals for fine-grained credit assignment. To stabilize optimization, it constrains token-level updates through clipping and direction-preserving modulation. Across 11 benchmarks spanning mathematics, STEM, and general reasoning, GeneralThinker achieves the best average performance. Further analyses show that uncontrolled token-level modulation can destabilize training, whereas controlled modulation makes fine-grained credit assignment consistently effective.
• Abstract（参考訳）: 検証可能な報酬による強化学習は、言語モデルの推論を改善するが、ドメイン固有の検証、疎い結果報酬、粗粒度のクレジット代入に依存しているため、適用性が制限される。 GeneralThinkerは、高密度な応答条件最適化として推論監督を再構築し、応答レベル評価とトークンレベルの信用代入をドメイン固有の検証なしで実現するオンラインフレームワークである。 GeneralThinkerは、接地真実解の確率を用いて生成された推論軌跡を評価し、きめ細かい信用代入のためのトークンワイド整合シグナルを導出する。 最適化を安定させるために、クリッピングと方向保存変調によるトークンレベルの更新を制約する。 数学、STEM、一般的な推論にまたがる11のベンチマークで、GeneralThinkerは最高の平均性能を達成している。 さらに分析したところ、制御されていないトークンレベルの変調はトレーニングを不安定にするが、制御された変調はきめ細かいクレジット割り当てを一貫して効果的にする。

関連論文リスト

• Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。 本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。 CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
  論文  参考訳（メタデータ） (2026-05-14T08:22:21Z)
• Verifiable Process Rewards for Agentic Reasoning [21.195739597726142]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデル(LLM)の推論能力を向上させる。 既存のアプローチのほとんどは、少ない結果レベルのフィードバックに依存しています。 本稿では,これらのオーラクルを強化学習のための高密度なターンレベルの監視に変換するフレームワークであるVerifiable Process Rewards (VPR)を提案する。
  論文  参考訳（メタデータ） (2026-05-11T10:30:53Z)
• MAVEN: Multi-Agent Verification-Elaboration Network with In-Step Epistemic Auditing [18.35295672031847]
  MAVENは、LLMを明示的な役割分離を通じて意図的な推論に変換するように設計されたフレームワークである。 MAVEN は GEMINI-3.1-Pro などの潜在推論モデルより一貫して優れている。 MAVENは完全にモデルに依存しず、強力で伝達可能な推論ブースターとして機能する。
  論文  参考訳（メタデータ） (2026-05-08T12:11:08Z)
• Segment-Aligned Policy Optimization for Multi-Modal Reasoning [55.29606572822562]
  本稿では、トークンや全シーケンスではなく、一貫性のある推論ステップをポリシー更新の基本単位として扱う新しい強化学習パラダイムを提案する。 代表的な推論ベンチマークの実験は、SAPOがトークンレベルおよびシーケンスレベルポリシー最適化手法を一貫して上回っていることを示している。 我々の研究は、強化学習の更新を推論の構造と整合させることの重要性を強調し、複雑な推論タスクにおけるより効率的でセマンティックに根ざした政策最適化の道を開く。
  論文  参考訳（メタデータ） (2026-05-02T08:47:45Z)
• Reducing Credit Assignment Variance via Counterfactual Reasoning Paths [11.514388061694268]
  大規模言語モデル(LLM)を用いた多段階推論のための強化学習は、しばしばスパース端末報酬に依存する。 本稿では,複数の推論軌跡を同一の入力でサンプリングする,対実的比較に基づく信用割当フレームワークを提案する。 我々は、スパース端末報酬をステップセンシティブな学習信号に変換する暗黙のプロセスレベル優位推定器を構築する。
  論文  参考訳（メタデータ） (2026-04-20T13:33:54Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• Reinforcement Learning with Conditional Expectation Reward [11.862379897558556]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効であることが証明されている。 本稿では,大言語モデル自体を暗黙の検証手段として活用する条件付き期待逆変換(CER)を提案する。 CERは、生成された回答に条件付き参照回答を生成するための期待可能な可能性として定義される。
  論文  参考訳（メタデータ） (2026-03-11T10:36:27Z)
• In-Token Rationality Optimization: Towards Accurate and Concise LLM Reasoning via Self-Feedback [38.915062716409686]
  InTROはトークンレベルの探索と,正確かつ簡潔な推論のための自己フィードバックを可能にする,新たなフレームワークである。 InTROは他のベースラインを一貫して上回り、ベースモデルと比較して解の精度を最大20%向上させる。 その思考の連鎖は明らかに簡潔であり、冗長性が低下している。
  論文  参考訳（メタデータ） (2025-11-13T01:47:06Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。