論文の概要: Oracle-RLAIF: An Improved Fine-Tuning Framework for Multi-modal Video Models through Reinforcement Learning from Ranking Feedback

• arxiv url: http://arxiv.org/abs/2510.02561v1
• Date: Thu, 02 Oct 2025 20:57:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.17306
• Title: Oracle-RLAIF: An Improved Fine-Tuning Framework for Multi-modal Video Models through Reinforcement Learning from Ranking Feedback
• Title（参考訳）: Oracle-RLAIF: ランク付けフィードバックによる強化学習によるマルチモーダルビデオモデルの微調整フレームワークの改善
• Authors: Derek Shi, Ruben Glatt, Christine Klymko, Shubham Mohole, Hongjun Choi, Shashank Kushwaha, Sam Sakla, Felipe Leno da Silva,
• Abstract要約: Oracle-RLAIFは、トレーニングされた報酬モデルをより一般的なOracleローダに置き換えるフレームワークである。 我々は、Oracle-RLAIFが既存の微調整手法を用いて、トップのVLMを一貫して上回っていることを示す。
• 参考スコア（独自算出の注目度）: 4.6204825059818395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large video-language models (VLMs) rely on extensive fine-tuning techniques that strengthen alignment between textual and visual comprehension. Leading pipelines typically pair supervised fine-tuning (SFT) with reinforcement learning from preference data to enhance video comprehension. However, as VLMs scale in parameter size, so does the cost of gathering enough human feedback. To make fine-tuning more cost-effective, recent frameworks explore reinforcement learning with AI feedback (RLAIF), which replace human preference with AI as a judge. Current RLAIF frameworks rely on a specialized reward model trained with video narratives to create calibrated scalar rewards-- an expensive and restrictive pipeline. We propose Oracle-RLAIF, a novel framework that replaces the trained reward model with a more general Oracle ranker which acts as a drop-in model ranking candidate model responses rather than scoring them. Alongside Oracle-RLAIF, we introduce $GRPO_{rank}$, a novel rank-based loss function based on Group Relative Policy Optimization (GRPO) that directly optimizes ordinal feedback with rank-aware advantages. Empirically, we demonstrate that Oracle-RLAIF consistently outperforms leading VLMs using existing fine-tuning methods when evaluated across various video comprehension benchmarks. Oracle-RLAIF paves the path to creating flexible and data-efficient frameworks for aligning large multi-modal video models with reinforcement learning from rank rather than score.
• Abstract（参考訳）: 大規模ビデオ言語モデル(VLM)の最近の進歩は、テキストと視覚の理解の整合性を強化する広範囲な微調整技術に依存している。 リードパイプラインは、典型的には、ビデオ理解を強化するために、好みデータからの強化学習とペアで教師付き微調整(SFT)を行う。 しかしながら、VLMはパラメータサイズをスケールするため、十分なフィードバックを集めるコストもかかる。 微調整をよりコスト効率よくするために、最近のフレームワークでは、人間の好みに取って代わるAIフィードバックによる強化学習(RLAIF)が検討されている。 現在のRLAIFフレームワークは、キャリブレーションされたスカラー報酬を作成するために、ビデオ物語で訓練された特別な報酬モデルに依存している。 我々は、トレーニングされた報酬モデルを置き換える新しいフレームワークであるOracle-RLAIFを提案する。 Oracle-RLAIF の他に,グループ相対政策最適化 (GRPO) に基づく新たなランクベースの損失関数である $GRPO_{rank}$ を導入する。 実演的に、Oracle-RLAIFは、様々なビデオ理解ベンチマークで評価された場合、既存の微調整手法を用いて、トップのVLMを一貫して上回っていることを実証した。 Oracle-RLAIFは、大規模なマルチモーダルビデオモデルをスコアではなくランクからの強化学習と整合させる、フレキシブルでデータ効率のよいフレームワークを作成するための道を開いた。

関連論文リスト

• Reinforcement Learning Tuning for VideoLLMs: Reward Design and Data Efficiency [56.475612147721264]
  本稿では、離散的かつ連続的な報酬信号を通して意味的推論と時間的推論の両方を監督する二重回帰定式化を提案する。 我々は,ビデオQA,テンポラルビデオグラウンディング,グラウンドドビデオQAを含む8つの代表的なビデオ理解タスクに対するアプローチを評価した。 その結果、MLLMを用いた推論中心のビデオ理解の進展において、報酬設計とデータ選択の重要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-06-02T17:28:26Z)
• ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning [68.76048244253582]
  ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。 ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。 ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
  論文  参考訳（メタデータ） (2025-05-21T12:29:40Z)
• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• TEMPLE:Temporal Preference Learning of Video LLMs via Difficulty Scheduling and Pre-SFT Alignment [48.94844127553743]
  TEMPLEはビデオ大言語モデルの時間的推論能力を高めるための体系的なフレームワークである。 提案手法は,比較的小さな自己生成DPOデータを用いて,複数のベンチマークでビデオLLM性能を継続的に改善する。 我々のTEMPLEは、SFTベースの手法をスケーラブルかつ効率的に補完するものであり、信頼性の高いビデオLLMを開発するための道を開くものである。
  論文  参考訳（メタデータ） (2025-03-21T08:00:29Z)
• Improving Video Generation with Human Feedback [81.48120703718774]
  ビデオ生成は大きな進歩を遂げているが、動画とプロンプト間の不規則な動きや不一致といった問題が続いている。 我々は、人間のフィードバックを利用してこれらの問題を緩和し、ビデオ生成モデルを洗練する体系的なパイプラインを開発する。 多次元ビデオ報酬モデルであるVideoRewardを導入し、アノテーションと様々なデザイン選択が報奨効果に与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-23T18:55:41Z)
• Tuning Large Multimodal Models for Videos using Reinforcement Learning from AI Feedback [38.708690624594794]
  ビデオとテキストのマルチモーダルアライメントは、主にマルチモーダル命令・チューンデータのボリュームと品質が不足しているため、依然として困難である。 本稿では,AIフィードバックからの強化学習(Reinforcement Learning from AI Feedback, RLAIF)と呼ばれる,マルチモーダルAIシステムを用いた新たなアライメント戦略を提案する。 具体的には、嗜好フィードバックの生成中に、詳細な映像記述を文脈として提供することによって、文脈対応報酬モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-06T06:27:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。