論文の概要: Video-Based Optimal Transport for Feedback-Efficient Offline Preference-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.16856v1
• Date: Mon, 15 Jun 2026 15:31:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.671405
• Title: Video-Based Optimal Transport for Feedback-Efficient Offline Preference-Based Reinforcement Learning
• Title（参考訳）: フィードバック効率の良いオフライン優先型強化学習のためのビデオベース最適輸送
• Authors: Tung M. Luu, Hwanhee Kim, Younghwan Lee, Chang D. Yoo,
• Abstract要約: ビデオベース Optimal Transport Preference (VOTP) は、少数のレーベルから効果的な報酬関数を学習する半教師付きフレームワークである。 ViFMのリッチな表現空間内での視覚的軌跡の整列に最適なトランスポートを活用することにより、VOTPは大量の未ラベルデータに対して、高忠実な擬似ラベルを効果的に生成する。
• 参考スコア（独自算出の注目度）: 28.83582104606724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conveying complex objectives to reinforcement learning (RL) agents often requires meticulous reward engineering. Preference-based RL (PbRL) offers a promising alternative by learning reward functions from human feedback, but its scalability is hindered by high labeling costs. Inspired by advances in Video Foundation Models (ViFMs), we present Video-based Optimal Transport Preference (VOTP), a semi-supervised framework that learns effective reward functions from only a handful of labels. By leveraging optimal transport to align visual trajectories within the rich representation space of ViFMs, VOTP effectively generates high-fidelity pseudo-labels for large amounts of unlabeled data, substantially reducing human supervision. Extensive experiments across locomotion and manipulation benchmarks demonstrate the superiority of VOTP, which outperforms state-of-the-art offline PbRL methods under limited feedback budgets. We also showcase the robustness of VOTP in the presence of visual distractors and validate its utility on real robotic tasks, where it learns meaningful rewards with minimal human input.
• Abstract（参考訳）: 複雑な目的を強化学習(RL)エージェントに展開するには、しばしば巧妙な報酬工学が必要である。 優先ベースのRL(PbRL)は、人間のフィードバックから報酬関数を学習することで、有望な代替手段を提供するが、そのスケーラビリティは高いラベル付けコストによって妨げられる。 ビデオファウンデーションモデル(ViFMs)の進歩に触発されて,少数のラベルから効果的な報酬関数を学習する半教師付きフレームワークであるビデオベース最適輸送選好(VOTP)を提案する。 ViFMのリッチな表現空間内での視覚的軌跡の整列に最適なトランスポートを活用することで、VOTPは大量の未ラベルデータに対する高忠実な擬似ラベルを効果的に生成し、人間の監督を大幅に低減する。 ローコモーションとオペレーティングベンチマークによる大規模な実験は、VOTPの優位性を示し、フィードバック予算の制限の下で、最先端のオフラインPbRL法より優れている。 また、視覚的邪魔者の存在下でのVOTPの堅牢性を示し、実際のロボットタスクにおいてその有用性を検証し、人間の入力を最小限に抑えて有意義な報酬を学習する。

関連論文リスト

• Reinforced Visual Perception with Tools [66.79840157663237]
  本稿では,GRPOに基づく新しいRLアルゴリズムを提案する。 本手法は,複数の知覚重度ベンチマークにおいて,最先端の性能を実現する。 我々のReVPT-3BとReVPT-7BはCV-Benchでインストラクションモデルを9.03%、9.44%上回っている。
  論文  参考訳（メタデータ） (2025-09-01T17:57:49Z)
• Policy Learning from Large Vision-Language Model Feedback without Reward Modeling [19.48826538310603]
  本稿では,大規模視覚言語モデル(VLM)を活用し,エージェント訓練のためのガイダンス信号を提供するPLAREを紹介する。 手動で設計した報酬関数に頼る代わりに、PLAREは視覚軌道セグメントのペアの優先ラベルに対してVLMをクエリする。 このポリシーは、教師付きコントラスト的選好学習目標を用いて、これらの選好ラベルから直接訓練される。
  論文  参考訳（メタデータ） (2025-07-31T10:07:49Z)
• Enhancing Rating-Based Reinforcement Learning to Effectively Leverage Feedback from Large Vision-Language Models [22.10168313140081]
  本稿では,AIフィードバックから報酬関数を学習する評価に基づく強化学習手法ERL-VLMを紹介する。 ERL-VLMは、個々の軌道の絶対評価のために大きな視覚言語モデルをクエリし、より表現力のあるフィードバックを可能にする。 ERL-VLM は既存の VLM ベースの報酬生成手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2025-06-15T12:05:08Z)
• ViVa: Video-Trained Value Functions for Guiding Online RL from Diverse Data [56.217490064597506]
  広範に利用可能なビデオデータから学習することで、RLを自動的に誘導するデータ駆動手法を提案し、分析する。 インテント条件付き値関数を使用して、多様なビデオから学び、これらのゴール条件付き値を報酬に組み込む。 実験により、ビデオ学習値関数は、様々なデータソースとうまく機能し、人間のビデオ事前学習からのポジティブな転送を示し、目に見えない目標に一般化し、データセットサイズでスケールできることが示されている。
  論文  参考訳（メタデータ） (2025-03-23T21:24:33Z)
• Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment [73.14105098897696]
  本研究では,人間の嗜好フィードバックをはるかに少なくして視覚的報酬を学習するための表現適応型選好学習(RAPL)を提案する。 RAPLは、エンドユーザの視覚表現に合わせて微調整された事前学習された視覚エンコーダに焦点を合わせ、特徴マッチングによって密集した視覚報酬を構築する。 RAPLは人間の嗜好に沿った報酬を学習し、より効率的に嗜好データを使用し、ロボットの具体化を一般化できることを示す。
  論文  参考訳（メタデータ） (2024-12-06T08:04:02Z)
• Offline Reinforcement Learning with Imputed Rewards [8.856568375969848]
  本稿では,報酬を付与した環境遷移のごく限られたサンプルから報酬信号を推定できるリワードモデルを提案する。 その結果、元のデータセットからの報酬ラベル付き遷移の1%しか使用していないため、学習した報酬モデルは残りの99%の遷移に対して報酬を付与できることがわかった。
  論文  参考訳（メタデータ） (2024-07-15T15:53:13Z)
• Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
  我々は、報酬モデルと政策モデルを同時に構築するために、逆強化学習(IRL)技術を活用することを提案する。 提案アルゴリズムはIRL問題の定常解に収束することを示す。 その結果,アライメントプロセス全体を通じて報酬学習を活用することは有益であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-28T07:11:05Z)
• Leveraging Optimal Transport for Enhanced Offline Reinforcement Learning in Surgical Robotic Environments [4.2569494803130565]
  我々は,少数の高品質な専門家によるデモンストレーションを用いて,オフラインの軌道に報酬を割り当てるための革新的なアルゴリズムを導入する。 このアプローチは、手作りの報酬の必要性を回避し、ポリシー学習に膨大なデータセットを活用する可能性を解き放つ。
  論文  参考訳（メタデータ） (2023-10-13T03:39:15Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• Optimal Transport for Offline Imitation Learning [31.218468923400373]
  オフライン強化学習(RL)は、実環境と対話することなく、優れた意思決定ポリシーを学習するための有望なフレームワークである。 オフライントラジェクトリに報酬を割り当てるアルゴリズムであるOptimal Transport Reward labeling (OTR)を導入する。 単一実演によるOTRは、オフラインRLの性能と地道的な報酬とを一貫して一致させることができることを示す。
  論文  参考訳（メタデータ） (2023-03-24T12:45:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。