論文の概要: SketchVL: Policy Optimization via Fine-Grained Credit Assignment for Chart Understanding and More

• arxiv url: http://arxiv.org/abs/2601.05688v1
• Date: Fri, 09 Jan 2026 10:13:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 17:41:49.943034
• Title: SketchVL: Policy Optimization via Fine-Grained Credit Assignment for Chart Understanding and More
• Title（参考訳）: SketchVL: チャート理解などのための細分化クレジットアサインメントによる政策最適化
• Abstract要約: 我々はFinePOを最適化した新しいMLLMであるSketchVLを紹介した。 トレーニング中、FinePOアルゴリズムは細粒度プロセスリワードモデル(FinePRM)を利用して、各描画動作を軌道内でスコアし、各ステップのクレジットを正確に割り当てる。 実験の結果、SketchVLはFinPRMとステップレベルの動作を一致させることを学び、ベースモデルよりも平均7.23%の性能向上を達成した。
• 参考スコア（独自算出の注目度）: 15.102512433806751
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Charts are high-density visual carriers of complex data and medium for information extraction and analysis. Due to the need for precise and complex visual reasoning, automated chart understanding poses a significant challenge to existing Multimodal Large Language Models (MLLMs). Many MLLMs trained with reinforcement learning (RL) face the challenge of credit assignment. Their advantage estimation, typically performed at the trajectory level, cannot distinguish between correct and incorrect reasoning steps within a single generated response. To address this limitation, we introduce SketchVL, a novel MLLM that optimized with FinePO, a new RL algorithm designed for fine-grained credit assignment within each trajectory. SketchVL's methodology involves drawing its intermediate reasoning steps as markers on the image and feeding the annotated image back to itself, creating a robust, multi-step reasoning process. During training, the FinePO algorithm leverages a Fine-grained Process Reward Model (FinePRM) to score each drawing action within a trajectory, thereby precisely assigning credit for each step. This mechanism allows FinePO to more strongly reward correct tokens when a trajectory is globally successful, and more heavily penalize incorrect tokens when the trajectory is globally suboptimal, thus achieving fine-grained reinforcement signals. Experiments show that SketchVL learns to align its step-level behavior with the FinePRM, achieving an average performance gain of 7.23\% over its base model across chart datasets, natural image datasets, and mathematics, providing a promising new direction for training powerful reasoning models.
• Abstract（参考訳）: グラフは複雑なデータの高密度なビジュアルキャリアであり、情報抽出と分析のための媒体である。 正確な視覚的推論を必要とするため、チャートの自動理解は既存のマルチモーダル大言語モデル(MLLM)にとって大きな課題となる。 強化学習(RL)で訓練された多くのMLLMは、クレジット割り当ての課題に直面している。 それらの利点は、典型的には軌道レベルで行われ、単一の生成された応答の中で正しい推論ステップと間違った推論ステップを区別できない。 この制限に対処するため、我々はFinePOを最適化した新しいMLLMであるSketchVLを紹介した。 SketchVLの方法論は、中間推論ステップをイメージ上のマーカーとして描画し、注釈付きイメージを自身にフィードバックすることで、堅牢でマルチステップの推論プロセスを生成する。 トレーニング中、FinePOアルゴリズムは細粒度プロセスリワードモデル(FinePRM)を利用して、各描画動作を軌道内でスコアし、各ステップのクレジットを正確に割り当てる。 この機構により、ファインポットは軌道が大域的に成功したときに正しいトークンをより強く報いることができ、また、軌道が大域的に最適であるときに不正確なトークンをより過度に罰することができる。 実験によると、SketchVLはそのステップレベルの振る舞いをFinePRMと整合させ、グラフデータセット、自然画像データセット、数学のベースモデルで平均7.23\%のパフォーマンス向上を実現し、強力な推論モデルをトレーニングするための有望な新しい方向を提供する。

関連論文リスト

• dVLA-RL: Reinforcement Learning over Denoising Trajectories for Discrete Diffusion Vision-Language-Action Models [49.497309561043004]
  我々は,学習目標を限界行動確率からサンプル生成経路の結合確率にシフトするtextbfdVLA-RLを提案する。 本手法は, LIBEROにおける textbf99.7% の成功率を達成する。 また、SFTベースラインに対してtextbf30.6%の改善を提供することで、RoboTwin 2.0上でのVLAベースの強力な結果も確立している。
  論文  参考訳（メタデータ） (2026-06-22T17:19:03Z)
• Beyond Trajectory-Level Attribution: Graph-Based Credit Assignment for Agentic Reinforcement Learning [30.228760269449072]
  グループベース強化学習(RL)法は,大規模言語モデル(LLM)の性能向上に成功している。 グラフベースのグループポリシー最適化(GraphGPO)を提案し、すべてのロールアウト軌跡を統一された状態遷移グラフに集約する。 グラフにエンコードされたグローバル情報を用いて、各状態からタスク目標までの距離を推定する。 最後に、GraphGPOは、タスク目標までの距離をどの程度短縮するかに基づいて、グラフベースの利点を推定することで、各エッジにクレジットを割り当てる。
  論文  参考訳（メタデータ） (2026-05-26T08:23:34Z)
• Sketch Then Paint: Hierarchical Reinforcement Learning for Diffusion Multi-Modal Large Language Models [52.40742159500277]
  強化学習(RL)を通して拡散多モード大言語モデル(dMLLM)を最適化する方法を示す。 弊社のアプローチでは、Sketch-Then-Paintトレーニングスキームにより、アップデートをグローバル、構造、洗練の3つのステージに編成する。 MMaDAとLumina-DiMOOの2つの人気のあるdMLLMバックボーンを用いた実験は、GenEvalとDPGのベンチマークで大幅に向上した。
  論文  参考訳（メタデータ） (2026-05-16T06:59:54Z)
• Chart-RL: Policy Optimization Reinforcement Learning for Enhanced Visual Reasoning in Chart Question Answering with Vision Language Models [2.1902845922631435]
  視覚言語モデル(VLM)は、堅牢な推論能力を必要とする真のインテリジェンスに向けた進歩を実証している。 現在のVLMは、複雑なデータビジュアライゼーションを含むチャート質問回答(CQA)タスクにおいて、重大な制限に直面しています。 本稿では、フィードバック駆動型ポリシー最適化によるチャート理解を強化する新しい強化学習フレームワークであるChart-RLを提案する。
  論文  参考訳（メタデータ） (2026-04-03T16:28:03Z)
• ProRAG: Process-Supervised Reinforcement Learning for Retrieval-Augmented Generation [54.071574153853994]
  ProRAGは、学習段階の監視をオンライン最適化ループに統合するために設計されたプロセス教師付き強化学習フレームワークである。 本フレームワークは,(1)構造化推論形式でモデルを初期化するための監視されたポリシーワームアップ,(2)中間推論品質を定量化するためのMCTSベースのプロセスリワードモデル(PRM)の構築,(3)細粒度プロセスの好みに合わせてポリシーを調整するためのPRM誘導推論リファインメント,(4)プロセススーパービジョン強化学習と2つのグラニュラリティー・アドバンテージ・メカニズムの4段階から構成される。
  論文  参考訳（メタデータ） (2026-01-29T16:04:59Z)
• Policies over Poses: Reinforcement Learning based Distributed Pose-Graph Optimization for Multi-Robot SLAM [1.3750624267664158]
  多ボットローカライゼーションにおける逐次分散ポーズグラフ最適化(PGO)について検討する。 我々は,PGOをマルコフニューラルネットワーク(GNN)上で定義された部分観測可能なゲームとみなし,各アクションが単一エッジのポーズ推定を洗練させる。 学習者の平均軌道は37.5%減少し,効率は少なくとも6倍向上した。
  論文  参考訳（メタデータ） (2025-10-26T16:21:24Z)
• Attention Illuminates LLM Reasoning: The Preplan-and-Anchor Rhythm Enables Fine-Grained Policy Optimization [56.083511902353365]
  強化学習(Reinforcement Learning, RL)は、一般的に、大規模言語モデルの全世代にわたって一様クレジットを適用する。 この研究は、LSMの内部論理を推論自体の機械的青写真として描画する特権基板として注意を向けている。 クリティカルノードに対するターゲットクレジット割り当てを動的に行う3つの新しいRL戦略を導入する。
  論文  参考訳（メタデータ） (2025-10-15T13:49:51Z)
• Breaking the SFT Plateau: Multimodal Structured Reinforcement Learning for Chart-to-Code Generation [12.822184232115333]
  本稿では,マルチモーダル構造化強化学習(MSRL)を提案する。 実世界のarXivテーブルから300万のチャートコードペアを含む,これまでで最大のトレーニングコーパスを構築した。 MSRLはSFT高原を著しく破壊し、ChartMimicとReachQAのベンチマークでそれぞれ6.2%と9.9%の高水準のメトリクスを改善した。
  論文  参考訳（メタデータ） (2025-08-19T07:40:18Z)
• CAPO: Towards Enhancing LLM Reasoning through Generative Credit Assignment [44.33395106709674]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、ルールベースのバイナリフィードバックを使用することで、LLM(Large Language Models)の推論能力を改善した。 現在のRLVRメソッドは、通常、すべてのトークンに同じ報酬を割り当てる。 この粗い粒度のフィードバックは、正確なクレジット割り当てを妨げ、モデルがどの推論ステップが成功または失敗につながるかを特定するのが難しくなる。
  論文  参考訳（メタデータ） (2025-08-04T11:06:08Z)
• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
  Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。 我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。 これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
  論文  参考訳（メタデータ） (2025-02-24T07:15:05Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。