論文の概要: Scaling Vision-Language Reward Learning for Robot Manipulation in Parallel Simulation

• arxiv url: http://arxiv.org/abs/2609.21767v1
• Date: Fri, 18 Sep 2026 13:36:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.129714
• Title: Scaling Vision-Language Reward Learning for Robot Manipulation in Parallel Simulation
• Title（参考訳）: 並列シミュレーションにおけるロボットマニピュレーションのための視覚-言語後進学習のスケーリング
• Abstract要約: 本稿では,GPU並列ロールアウトをデータ対応ポリシー更新,単一要求優先ラベル付け,自動報酬安定化,代表画像サンプリングと組み合わせるシステムを提案する。 すべてのRAPIDコンポーネントを有効にすると、トレーニングは1回あたり19,840のAPIコールではなく896を使用して1.15時間で完了し、最終的な成功率は86.3%から98.7%に増加した。 これは8.0$times$エンドツーエンドのスピードアップと95.5%のAPI使用率の削減を意味する。
• 参考スコア（独自算出の注目度）: 0.3823356975862005
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Vision-language models (VLMs) can replace human annotators in preference-based reward learning, but sequential API requests and single-environment data collection make training slow and costly. We present RAPID (Reward learning with Adaptive Parallel Image Diversity), a system that couples GPU-parallel rollout with data-aware policy updates, single-request preference labeling, automatic reward stabilization, and representative image sampling. We evaluate these components on five Franka Panda manipulation tasks in IsaacLab. Parallel rollout and adaptive updates provide the first substantial reduction in training time: under matched two-stage prompting, mean runtime falls from 9.18 to 3.13 hours. With all RAPID components enabled, training completes in 1.15 hours using 896 rather than 19,840 API calls per run, and aggregate final success rises from 86.3\% to 98.7\%. This represents an 8.0$\times$ end-to-end speedup and a 95.5\% reduction in API usage. An offline evaluation with Gemma~3 12B and GPT-4.1 mini demonstrates that single-request prompting reduces labeling latency and cost across both models. Code is available at: https://github.com/rapid-vlm/rapid-vlm-rl.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、好みに基づく報酬学習において人間のアノテータを置き換えることができるが、シーケンシャルなAPI要求と単一環境データ収集は、トレーニングを遅く、コストがかかる。 RAPID(Reward Learning with Adaptive Parallel Image Diversity)は,GPU並列ロールアウトとデータ対応ポリシ更新,単一要求優先ラベリング,自動報酬安定化,代表画像サンプリングを併用するシステムである。 これらのコンポーネントをIsaacLabのFranka Panda操作タスク5つで評価する。 並列ロールアウトとアダプティブアップデートは、トレーニング時間を初めて大幅に短縮する: マッチした2段階のプロンプトでは、ランタイムは9.18時間から3.13時間に低下する。 すべてのRAPIDコンポーネントを有効にすると、トレーニングは1回あたり19,840のAPIコールではなく896を使用して1.15時間で完了し、最終的な成功率は86.3\%から98.7\%に上昇する。 これは8.0$\times$ end-to-endのスピードアップと95.5\%のAPI使用率の削減を意味する。 Gemma~3 12B と GPT-4.1 mini によるオフライン評価は、単一要求が両方のモデル間のラベリング遅延とコストを減少させることを示した。 コードは、https://github.com/rapid-vlm/rapid-vlm-rl.comで入手できる。

関連論文リスト

• ForeTime-VLA: Causal Future-Token Distillation from a World Action Model for Conveyor-Belt Manipulation [6.874305530359895]
  本稿では,凍ったFast-WAMをベースとした教師から,未来を意識した行動等価表現を蒸留する高密度pi0.5ポリシーであるForeTime-VLAを紹介する。 オンラインでは、8フレームの履歴エンコーダが操作フェーズと正規化された時間-遷移とともにこのターゲットを予測する。 テストMAEは0.134119から0.130593 (2.63%)に減少し、ペアリングブートストラップ95%CI:0.82-4.48%の改善、テストL2は2.46-2.93%の遅延コストで3.02%減少する。
  論文  参考訳（メタデータ） (2026-08-21T04:40:41Z)
• Learning When to Denoise: Optimizing Asynchronous Schedules for Latent Diffusion [9.071145174881565]
  多表現拡散モデルは、画像の相補的なビューを識別することで視覚合成を改善することができる。 提案手法は,複数の表現空間上での非同期フローマッチングを定式化する。 このスケジュールは、1%未満のトレーニング計算で高速なジョイントプローブを用いて学習する。
  論文  参考訳（メタデータ） (2026-06-18T00:13:42Z)
• CrossVLA: Cross-Paradigm Post-Training and Inference Optimization for Vision-Language-Action Models [7.489020109808801]
  われわれは,クロスパラダイム・ビジョン・ランゲージ・アクション(VLA)のポストトレーニングに関する実証的研究であるCrossVLAを報告する。 i) 確率フローODE統合なしでDPOを連続動作バックボーンで操作できる代理フローマッチングログ確率推定器、(ii) VLA DPOのパラメータ係数層としてのLoRAとDoRAの頭と頭の比較、(iii) ノイズループを示す推論時間解剖学は、サンプル_actions遅延の78.6%、プレフィックス-K/Vキャッシングのラを支配している。
  論文  参考訳（メタデータ） (2026-05-21T01:02:41Z)
• Less Data, Faster Convergence: Goal-Driven Data Optimization for Multimodal Instruction Tuning [19.797488880602813]
  それぞれの候補に対して6つのサンプル記述子を計算し、異なる目標に対して1$times$トレーニングサブセットを最適化するフレームワークを提案する。 固定されたQwen3-VL-8B-インストラクショントレーニングと評価のレシピの下で、GDOはUni-10xベースラインよりもはるかに少ないトレーニングサンプルを使用する。 固定された512kサンプルのUni-10xベースラインとは対照的に、GDOはMVBenchの35.4kサンプル、VideoMMEの26.6k、MLVUの27.3k、LVBenchの34.7kサンプルの後、Uni-10x基準に達する。
  論文  参考訳（メタデータ） (2026-03-12T21:54:50Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Simple ReFlow: Improved Techniques for Fast Flow Models [68.32300636049008]
  拡散および流れマッチングモデルは、優れた生成性能を実現するが、多くのサンプリングステップを犠牲にしている。 我々は、力学、学習、推論のトレーニングに7つの改善点を提案する。 我々は、ニューラルネットワークによる高速な生成のために、最先端のFIDスコア(ガイダンスなし/参照なし)を達成している。
  論文  参考訳（メタデータ） (2024-10-10T11:00:55Z)
• A Quadratic Synchronization Rule for Distributed Deep Learning [66.68264684667562]
  本研究は、擬似同期規則(QSR)と呼ばれる$H$を決定するための理論基底法を提案する。 ResNet と ViT の実験により、QSR を用いた局所勾配法は、他の同期戦略よりもテスト精度を一貫して向上することが示された。
  論文  参考訳（メタデータ） (2023-10-22T21:38:57Z)
• Getting More Juice Out of Your Data: Hard Pair Refinement Enhances Visual-Language Models Without Extra Data [122.282521548393]
  コントラスト言語-画像事前学習 (CLIP) は, クロスモーダルな画像-テキスト表現学習の標準となっている。 HELIPは、CLIPモデルを改善するためのコスト効率のよい戦略であり、継続的なトレーニングにおいて既存のデータセット内の挑戦的なテキストイメージペアを利用することで、CLIPモデルを改善する。
  論文  参考訳（メタデータ） (2023-05-09T07:00:17Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。