論文の概要: Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs

• arxiv url: http://arxiv.org/abs/2608.20492v1
• Date: Thu, 20 Aug 2026 18:28:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.156211
• Title: Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs
• Title（参考訳）: ロールアウトとしてのアノテーション:ビデオMLLMの効率的かつスケーラブルな強化学習
• Abstract要約: Video-ORA-9Bは4,780ミリ秒ではなく130ミリ秒でデコードされる。 OraRLはモデルのサイズとデータでスケールし、バックボーンを0.8Bから9B、GRPOを最大100kのプロンプトに超える。
• 参考スコア（独自算出の注目度）: 104.11820606942855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) have become a prevailing paradigm for unified video perception. However, post-training on large multi-task datasets remains challenging, as existing reinforcement learning methods sample on-policy groups with few high-quality rollouts even with costly chain-of-thought (CoT) generation. In this paper, we study the sample efficiency and scalability of RL post-training for video MLLMs and introduce OraRL. We identify an overlooked role for annotations: Beyond scoring rollouts, each can enter its on-policy group as an oracle rollout, a direct positive optimization target. Direct oracle integration, however, is nontrivial: a high-reward oracle raises the group baseline and inverts otherwise positive policy advantages, a failure we term advantage inversion. At the core of OraRL is a decoupled advantage estimator: policy rollouts determine an oracle-free baseline, while the oracle-policy gap modulates both a directional gain and a separate detached oracle advantage. Sign-balanced pruning improves efficiency: by retaining only the oracle and the strongest rollouts of each sign, OraRL requires just 2.2x the step time of SFT, less than half the 4.9x required by GRPO with CoT. OraRL scales with model size and data, surpassing its backbone from 0.8B to 9B and GRPO up to 100k prompts. Without chain-of-thought, Video-ORA-9B decodes in 130 ms instead of 4,780 ms. Compared with the respective prior best models, it raises temporal mIoU from 62.5 to 66.0, tracking AO from 73.0 to 78.2, segmentation from 64.3 to 70.4, and the three-benchmark spatial-intelligence macro average from 51.0 to 56.1; on VSI-Bench, it scores 73.1 against 55.0 for GPT-5 and 55.1 for Gemini-3-Pro.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は,映像認識の統一のためのパラダイムとして広く普及している。 しかし、既存の強化学習手法では、コストのかかるチェーン・オブ・シンク(CoT)生成であっても、高品質なロールアウトがほとんどない政治団体をサンプリングしているため、大規模なマルチタスクデータセットのポストトレーニングは依然として困難である。 本稿では,ビデオMLLMにおけるRLポストトレーニングのサンプル効率とスケーラビリティについて検討し,OraRLを紹介する。 スコアリングのロールアウト以外にも、それぞれが、直接的な肯定的な最適化ターゲットであるオラクルのロールアウトとして、そのオンライングループに入ることができます。 しかし、直接オラクル統合は非自明なものであり、高次オラクルはグループベースラインを上昇させ、それ以外は肯定的な政策上の利点を逆転させる。 方針のロールアウトがオラクルフリーのベースラインを決定するのに対して、オラクルと政治のギャップは方向性の利得と分離されたオラクルの利益の両方を変調する。 サインバランスプルーニングにより効率が向上し、各サインのオラクルと最強のロールアウトのみを保持することで、OlaRLはSFTのステップタイムの2.2倍しか必要とせず、GRPOがCoTで要求する4.9倍以下である。 OraRLはモデルのサイズとデータでスケールし、バックボーンを0.8Bから9B、GRPOを最大100kのプロンプトに超える。 チェーンなし、ビデオORA-9Bは4,780msではなく130msでデコードされ、各最上位モデルと比較して、時間mIoUを62.5から66.0に、AOを73.0から78.2に、セグメンテーションを64.3から70.4に、空間知性マクロを51.0から56.1に、VSI-BenchではGPT-5と55.0で73.1、Gemini-3-Proで55.1にスコアする。

関連論文リスト

• CompactionRL: Reinforcement Learning with Context Compaction for Long-Horizon Agents [46.180980184707416]
  本研究では,長期エージェントLLMをコンテキスト圧縮で学習するための強化学習戦略であるCompactionRLを提案する。 我々はオープンモデル上でCompactionRLを訓練し、エージェントコーディングタスクにおける一貫したパフォーマンス向上を観察する。 GLM-4.7-Flash (30B-A3B) をベースとして、CompactionRLはPass@1を5.5と6.8ポイント改善し、SWEベンチ認証では56.4%、ターミナルベンチ2.0では20.2%に達した。
  論文  参考訳（メタデータ） (2026-07-06T17:55:12Z)
• CrossVLA: Cross-Paradigm Post-Training and Inference Optimization for Vision-Language-Action Models [7.489020109808801]
  われわれは,クロスパラダイム・ビジョン・ランゲージ・アクション(VLA)のポストトレーニングに関する実証的研究であるCrossVLAを報告する。 i) 確率フローODE統合なしでDPOを連続動作バックボーンで操作できる代理フローマッチングログ確率推定器、(ii) VLA DPOのパラメータ係数層としてのLoRAとDoRAの頭と頭の比較、(iii) ノイズループを示す推論時間解剖学は、サンプル_actions遅延の78.6%、プレフィックス-K/Vキャッシングのラを支配している。
  論文  参考訳（メタデータ） (2026-05-21T01:02:41Z)
• FIPO: Eliciting Deep Reasoning with Future-KL Influenced Policy Optimization [84.58281577727566]
  本稿では,大規模言語モデルにおける推論ボトルネックを克服する強化学習アルゴリズムであるFuture-KL Influenced Policy Optimization (FIPO)を提案する。 FIPOは、割引先KLの分岐をポリシー更新に組み込むことでこの問題に対処し、その後の軌道行動への影響に基づいてトークンを再重み付けする密集した有利な定式化を作成する。 Qwen2.5-32Bで評価され、FIPOは平均チェーン長を約4,000から10,000以上のトークンに拡張し、AIME 2024 Pass@1の精度を50.0%から58.0%に向上させた。
  論文  参考訳（メタデータ） (2026-03-20T10:24:50Z)
• Train Less, Learn More: Adaptive Efficient Rollout Optimization for Group-Based Reinforcement Learning [37.10958874118462]
  強化学習(RL)は、大規模言語モデル(LLM)のポストトレーニングにおいて中心的な役割を果たす。 GRPO では、各クエリは LLM に、固定されたグループサイズ$N$のロールアウトのグループを生成するように促す。 グループ内のすべてのロールアウトが同じ結果を共有するとき、すべての正しいか不正確な場合、群正規化の利点はゼロとなる。 本稿では GRPO の強化である AERO (Adaptive Efficient Rollout Optimization) を導入する。
  論文  参考訳（メタデータ） (2026-02-15T23:14:05Z)
• Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters [169.7981969517903]
  Step 3.5 Flashは、フロンティアレベルのエージェントインテリジェンスと計算効率を橋渡しする。 エージェントを構築する上で最も重要なもの、すなわち、シャープな推論と高速で信頼性の高い実行に重点を置いています。
  論文  参考訳（メタデータ） (2026-02-11T07:53:51Z)
• Language Models are Hidden Reasoners: Unlocking Latent Reasoning Capabilities via Self-Rewarding [74.31981011985681]
  大きな言語モデル(LLM)は印象的な機能を示しているが、それでも複数のステップを必要とする複雑な推論タスクに苦戦している。 LaTRO(LaTent Reasoning Optimization)は、潜在分布からのサンプリングとして推論を定式化するためのフレームワークである。 複数のモデルアーキテクチャを用いて、GSM8KおよびARC-Challengeデータセットの実験を通してLaTROを検証する。
  論文  参考訳（メタデータ） (2024-11-06T22:02:30Z)
• Dr. SoW: Density Ratio of Strong-over-weak LLMs for Reducing the Cost of Human Annotation in Preference Tuning [15.776175440446414]
  本稿では,人間のアノテーションへの依存を解消するコスト効率の高い方法であるDr.SoW(Density Ratio of Strong over Weak)を紹介する。 Dr.SoW は報奨信号として、より整列した LLM と低整列の LLM の対数密度比を用いる。 Dr.SoWによるデータを用いたLlama-3-8B-インストラクタを選好する。
  論文  参考訳（メタデータ） (2024-11-04T18:54:39Z)
• Scalable Reinforcement Post-Training Beyond Static Human Prompts: Evolving Alignment via Asymmetric Self-Play [52.3079697845254]
  evaは、オフラインとオンラインのRLポストトレーニングの両方で、言語モデルがトレーニングプロンプトを適応的に作成できるようにする最初の方法である。 我々は,エバが有効なRLキュリキュラを作成でき,アブレーションにまたがって堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T08:15:32Z)
• Building Math Agents with Multi-Turn Iterative Preference Learning [56.71330214021884]
  本稿では,モデル性能をさらに向上させるために,補完的な直接選好学習手法について検討する。 既存の直接選好学習アルゴリズムは、もともとシングルターンチャットタスク用に設計されている。 この文脈に合わせたマルチターン直接選好学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-04T02:41:04Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• ACPO: AI-Enabled Compiler Framework [1.752593459729982]
  本稿では,AI-Enabled Compiler FrameworkのACPOについて述べる。 LLVMには、さまざまな最適化パスにMLモデルを使用するメリットを享受する、シンプルで包括的なツールが提供されている。 LLVMのO3と比較すると,ACPOはPolybenchで4.5%,Cbenchで2.4%の高速化を実現している。
  論文  参考訳（メタデータ） (2023-12-15T17:49:24Z)
• Remember what you did so you know what to do next [10.526351131118096]
  我々は,初等科学実験のためのテキストゲームシミュレータであるScienceWorldにおいて,シミュレーションロボットが30の目標を達成する計画を立てる。 実験の結果、30種類のアクションに対して、パフォーマンスが広範囲に分散していることが示され、タスクに対する平均化が重大なパフォーマンス上の問題を隠蔽する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-30T19:29:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。