論文の概要: AdaC-GRPO: Towards Mastering Long-Horizon Visual Sudoku Puzzles via Adaptive Curriculum Learning

• arxiv url: http://arxiv.org/abs/2610.13184v1
• Date: Fri, 09 Oct 2026 08:08:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.465673
• Title: AdaC-GRPO: Towards Mastering Long-Horizon Visual Sudoku Puzzles via Adaptive Curriculum Learning
• Title（参考訳）: AdaC-GRPO:Adaptive Curriculum Learningによる長軸視覚スドクプラグの習得に向けて
• Abstract要約: ビジュアルスドゥークパズルは、局所的な制約とグローバルな依存関係チェーンの両方に対して多段階の推論を必要とする、代表的な課題である。 FG-Sudokuはグリッドサイズとデダクティブステップによって分類されたきめ細かいベンチマークである。 トレーニング後、このほぼゼロに近い成功率は、大きな報酬の分散を引き起こし、標準のRLVRを停止させる。 AdaC-GRPOは、オンラインロールアウト精度を通じてモデルの"Zone of Proximal Development"を追跡することで、トレーニングバッチを動的に構築する。
• 参考スコア（独自算出の注目度）: 20.40283470898589
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While reinforcement learning with verifiable reward (RLVR) enhances reasoning in large language models, its efficacy in long-horizon multimodal tasks remains underexplored. Visual Sudoku puzzles pose a representative challenge, requiring multi-step deductive reasoning over both local constraints and global dependency chains. To this end, we introduce FG-Sudoku, a fine-grained benchmark categorized by grid size and required deductive steps. Evaluations reveal that frontier MLLMs fail on complex long-range dependencies (e.g., 9*9 puzzles). During post-training, this near-zero success rate causes severe reward sparsity, halting standard RLVR. We propose Adaptive Curriculum Group Relative Policy Optimization (AdaC-GRPO) to overcome this. Unlike rigid or prior-based schedules, AdaC-GRPO dynamically constructs training batches by tracking the model's "Zone of Proximal Development" via online rollout accuracy. Experiments demonstrate that AdaC-GRPO enables Qwen2.5-VL-7B to approach the performance of Gemini-2.5-Flash while bridging 62.2% of the overall accuracy gap to Gemini-2.5-Pro, with its generalizability further validated across InternVL-3.5 and Qwen3-VL.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論を促進するが、長距離マルチモーダルタスクにおけるその有効性は未解明のままである。 ビジュアルスドゥークパズルは、局所的な制約とグローバルな依存関係チェーンの両方に対して多段階の推論を必要とする、代表的な課題である。 この目的のために、グリッドサイズとデダクティブステップによって分類されたきめ細かいベンチマークであるFG-Sudokuを導入する。 評価によると、フロンティアMLLMは複雑な長距離依存(例えば9*9パズル)で失敗する。 トレーニング後、このほぼゼロに近い成功率は、大きな報酬の分散を引き起こし、標準のRLVRを停止させる。 本稿では,AdaC-GRPO(Adaptive Curriculum Group Relative Policy Optimization)を提案する。 厳密なスケジュールや事前スケジュールとは異なり、AdaC-GRPOはオンラインのロールアウト精度を通じてモデルの"Zone of Proximal Development"を追跡することで、トレーニングバッチを動的に構築する。 AdaC-GRPOにより、Qwen2.5-VL-7BはGemini-2.5-Flashの性能に近づき、全体的な精度ギャップの62.2%をGemini-2.5-Proに橋渡しし、その一般化性はInternVL-3.5とQwen3-VLでさらに検証された。

関連論文リスト

• ExTra: Exploratory Trajectory Optimization for Language Model Reinforcement Learning [75.26064451955199]
  ExTraは、モデル自身のロールアウトから探索信号を抽出するフレームワークである。 GRPO上でQwen3-1.7Bをpass@1で約5ポイント、pass@16で+7ポイント改善する。
  論文  参考訳（メタデータ） (2026-06-23T15:51:39Z)
• fg-expo: Frontier-guided exploration-prioritized policy optimization via adaptive kl and gaussian curriculum [11.537163059885687]
  FG-ExPOは,Frontier-Guided Exploration-Prioritized Policy Optimizationの略である。 精度制御KLスケーリング(AKL)は、バッチ平均精度のスムーズな非線形関数により、KLのペナルティ強度を調整する。 我々は6つの主要な数学的推論ベンチマークでDeepSeek-R1-Distill-Qwen-1.5BとQwen3-8B-Baseの評価を行った。
  論文  参考訳（メタデータ） (2026-05-12T01:48:48Z)
• OpenVLThinkerV2: A Generalist Multimodal Reasoning Model for Multi-domain Visual Tasks [81.07598709704628]
  標準線形スケーリングを非線形分布マッチングに置き換える新しいRLトレーニング目標を提案する。 また、高度に堅牢で汎用的なマルチモーダルモデルであるOpenVLThinkerV2を提案する。
  論文  参考訳（メタデータ） (2026-04-09T17:59:39Z)
• Enhancing the Outcome Reward-based RL Training of MLLMs with Self-Consistency Sampling [90.87033586963828]
  マルチモーダル大言語モデル(MLLM)のステップ・バイ・ステップ推論を洗練させる手段としては,アウトカム・リワード強化学習(RL)が一般的であり,ますます重要になっている。 この問題を修正するために,自己整合サンプリング(SCS)を提案する。 Qwen2.5-VL-7B-インストラクトに基づいて、SCSは、無視できる余分な計算を伴う6つのマルチモーダルベンチマークにおいて、最大7.7ポイントの精度を向上する。
  論文  参考訳（メタデータ） (2025-11-13T18:59:57Z)
• RL-PLUS: Countering Capability Boundary Collapse of LLMs in Reinforcement Learning with Hybrid-policy Optimization [111.1749164063616]
  大規模言語モデル(LLM)のための新しいハイブリッド政治最適化手法RL-PLUSを提案する。 RL-PLUSは、外部データと内部エクスプロイトを相乗化して、より強力な推論能力を達成し、ベースモデルのバウンダリを超える。 提案手法の優位性と一般化性を示すため,理論解析と広範な実験を行った。
  論文  参考訳（メタデータ） (2025-07-31T23:55:29Z)
• GRPO-CARE: Consistency-Aware Reinforcement Learning for Multimodal Reasoning [53.894789613838654]
  我々は、複雑な実世界のビデオにバランスの取れた知覚と推論を必要とするベンチマークであるSEED-Bench-R1を紹介する。 SEED-Bench-R1を用いて、標準GRPOは解の精度を向上する一方で、推論ステップと解の論理的コヒーレンスを57.9%の一貫性で減少させる。 応答の正しさと推論コヒーレンスの両方を明示的な監督なしに最適化する整合性を考慮したRLフレームワークGRPO-CAREを提案する。
  論文  参考訳（メタデータ） (2025-06-19T08:49:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。