論文の概要: LenGuard-GPC: Length Guarding with Guided-Prompt Consistency for Spatial Reasoning Reinforce Learning
- arxiv url: http://arxiv.org/abs/2607.17243v1
- Date: Sun, 19 Jul 2026 13:24:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.410251
- Title: LenGuard-GPC: Length Guarding with Guided-Prompt Consistency for Spatial Reasoning Reinforce Learning
- Title（参考訳）: LenGuard-GPC:空間推論強化学習のためのガイドプロンプト整合性を用いた長さガード
- Abstract要約: 検証可能な報酬を伴う強化学習は、多視点空間推論に自然に適合する。
LenGuard-GPCを提案する。
6つのマルチビュー空間推論ベンチマークにおいて、LenGuard-GPCは平均応答長を削減しつつ、バニラGRPOよりも精度を向上させる。
- 参考スコア（独自算出の注目度）: 30.299742384777016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-view spatial reasoning requires vision-language models to compare visual evidence across images, align object correspondences, and infer spatial relations over long visual contexts, a setting where chain-of-thought reasoning tends to grow verbose without becoming more accurate. Reinforcement learning with verifiable rewards is a natural fit for this task, but standard GRPO reward relies on sparse outcome-level feedback and gives no signal about where a reasoning trajectory goes wrong, nor any control over its length. We propose LenGuard-GPC, a dense reward framework that addresses both problems together. For each sampled trajectory, it compares the token-wise predictive distributions under a standard prompt and a guided prompt, and uses the resulting token-sum KL divergence as a dense reward signal. Since this KL penalty accumulates over tokens and would otherwise reward shorter responses regardless of their quality, we introduce a staged length bonus that keeps reasoning length within a controlled range without simply encouraging brevity. On six multi-view spatial reasoning benchmarks, LenGuard-GPC improves accuracy over vanilla GRPO while reducing average response length.
- Abstract（参考訳）: 多視点空間推論では、画像間の視覚的エビデンスを比較し、オブジェクトの対応を調整し、長い視覚的文脈における空間的関係を推論するために視覚言語モデルが必要である。
検証可能な報酬を伴う強化学習は、このタスクに自然に適合するが、標準のGRPO報酬は、粗末な結果レベルのフィードバックに依存し、推論軌跡のどこが悪いのか、その長さの制御は行わない。
LenGuard-GPCを提案する。
サンプル軌道毎に、標準プロンプトと誘導プロンプトの下でのトークンワイズ予測分布を比較し、結果として生じるトークンサムKLの発散を高密度報酬信号として使用する。
このKLペナルティはトークンの上に蓄積され、その品質に関わらず短い応答を報いるため、単に簡潔さを奨励することなく、制御範囲内に推論長を維持できるステージ付き長ボーナスを導入する。
6つのマルチビュー空間推論ベンチマークにおいて、LenGuard-GPCは平均応答長を削減しつつ、バニラGRPOよりも精度を向上させる。
関連論文リスト
- Routing by Reasoning Need: Trajectory-Aware Decoding Control for Diffusion Vision-Language Models [8.701251850915819]
拡散視覚言語モデルは反復的洗練を通じて回答を生成し、推論時に検査および制御できる中間応答軌跡を露呈する。
この制御性は推論に必要となるミスマッチを生成し、異なる推論要求の質問に対して普遍的な生成長を適用する。
我々は、この問題を推論予算ミスマッチとして定式化し、LLaDA-Vで研究する。
論文 参考訳（メタデータ） (2026-09-10T09:41:19Z) - Gradients Know What Outcomes Don't: Unlocking Reinforcement Learning for LLM Reasoning with Gradient-Aligned Rewards [24.636191382674184]
グラディエント・リワード(GAR)は政策の勾配空間で機能する。
Cコサインと専門家-アンカー勾配の類似性は、密度の高い推論-認識の報酬をもたらす。
論文 参考訳（メタデータ） (2026-09-03T04:00:28Z) - Not All Tokens Deserve Equal Credit: Counterfactual Sensitivity Credit Reallocation for Long-CoT Reasoning [3.9783774144289623]
GRPOのような批判のない方法は、応答レベルの報酬を利点に変換し、トークン間で均一にブロードキャストする。
本稿では,高感度トークンのクレジットを低減するGRPOの簡易拡張であるCSCRを提案する。
long-CoTの数学的推論ベンチマークでは、CSCRはGRPOベースラインを同じ数のポリシー更新で一貫して上回っている。
論文 参考訳（メタデータ） (2026-07-30T09:03:33Z) - LongTraceRL: Learning Long-Context Reasoning from Search Agent Trajectories with Rubric Rewards [53.339700196282905]
検証可能な報酬(RLVR)による強化学習は,この課題を約束している。
既存の方法は、信頼性の低いインタプリタと、スパースで結果のみの報酬信号によって制限される。
textscLongTraceRLは、ランダムサンプリングやワンショット検索によって作られたものよりもはるかに難しいトレーニングコンテキストを生成する。
論文 参考訳（メタデータ） (2026-05-29T17:51:40Z) - Self-Consistent Latent Reasoning: Long Latent Sequence Reasoning for Vision-Language Model [56.21523258053447]
SCOLAR(Self-Consistent LAtent Reasoning)は、1枚のショットで補助的な視覚トークンを生成する軽量なデコンバータを導入している。
SCOLARは許容遅延CoT長を30ドル以上延長し、実世界の推論ベンチマークでオープンソースモデルの間で最先端を実現している。
論文 参考訳（メタデータ） (2026-05-12T14:13:08Z) - Hidden States Know Where Reasoning Diverges: Credit Assignment via Span-Level Wasserstein Distance [8.66471442661456]
隠れ状態分布は局所的推論品質に有用な信号を含むことを示す。
各GRPO群では, 局所的推論品質が変動する領域を中心に, スパンレベル隠れ状態分布間のワッサースタイン距離が増加する。
textbfSpan-level textbfHidden state textbfEd textbfAdvantage textbfReweightingを提案する。
論文 参考訳（メタデータ） (2026-04-25T14:11:23Z) - From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。
最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。
このようにして、RLVRRは報酬を2つの次元に分解する。
論文 参考訳（メタデータ） (2026-01-26T14:39:58Z) - Reinforced Efficient Reasoning via Semantically Diverse Exploration [73.41112984160992]
検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論の強化に有効であることが証明された。
本研究では,LLMのための意味的多様性探索,すなわちROSEによる効率的な推論手法を提案する。
本手法は,意味エントロピーに基づく分岐戦略と$varepsilon$-exploration機構を組み込んだものである。
論文 参考訳（メタデータ） (2026-01-08T15:56:44Z) - Hybrid Reinforcement: When Reward Is Sparse, It's Better to Be Dense [36.71358559780692]
HEROは、検証者信号と報酬モデルスコアを構造化された方法で統合する強化学習フレームワークである。
HEROはRMのみのベースラインと検証者のみのベースラインを一貫して上回り、検証可能なタスクと検証しにくいタスクの両方で大きな利益を上げている。
論文 参考訳（メタデータ） (2025-10-08T17:09:41Z) - GRPO-CARE: Consistency-Aware Reinforcement Learning for Multimodal Reasoning [53.894789613838654]
我々は、複雑な実世界のビデオにバランスの取れた知覚と推論を必要とするベンチマークであるSEED-Bench-R1を紹介する。
SEED-Bench-R1を用いて、標準GRPOは解の精度を向上する一方で、推論ステップと解の論理的コヒーレンスを57.9%の一貫性で減少させる。
応答の正しさと推論コヒーレンスの両方を明示的な監督なしに最適化する整合性を考慮したRLフレームワークGRPO-CAREを提案する。
論文 参考訳（メタデータ） (2025-06-19T08:49:13Z) - Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。
具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。
また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
論文 参考訳（メタデータ） (2025-05-30T15:42:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。