論文の概要: Beyond Pairwise Feedback: Listwise Vision-Language Supervision for Preference-Based Reward Learning

• arxiv url: http://arxiv.org/abs/2608.25350v1
• Date: Wed, 26 Aug 2026 04:09:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.589899
• Title: Beyond Pairwise Feedback: Listwise Vision-Language Supervision for Preference-Based Reward Learning
• Title（参考訳）: ペアワイズフィードバックを超えて: 優先順位に基づくリワード学習のためのリスワイズ・ビジョン・ランゲージ・スーパービジョン
• Abstract要約: 視覚言語モデル(VLM)は、強化学習のための強力な指導源として登場した。 本研究では,VLM生成した嗜好と報奨学習のためのPlackett-Luceモデルを組み合わせた最初のフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) have emerged as a powerful source of supervision for reinforcement learning, enabling agents to leverage rich semantic knowledge during training. Inspired by the success of preference-based reward learning (PbRL) in reinforcement learning from human feedback (RLHF), vision-language model generated image-based preferences provide an effective source for learning reward functions. This can be done by visually comparing two outcomes through the Bradley-Terry (BT) model. However, this pairwise formulation utilizes only two observations at a time, despite VLMs being capable of ranking multiple candidates. The Plackett-Luce (PL) formulation can shape a reward model with listwise rankings as opposed to pairwise preferences, allowing for a more suited use of a VLM based ranking. In this work, to our knowledge, we introduce the first framework that combines VLM-generated preferences with the Plackett-Luce model for reward learning. We evaluate our approach on Meta-World manipulation tasks and show that Plackett-Luce (PL) reward models can train robotic policies from VLM-generated rankings as effectively as pairwise Bradley-Terry, $K$-wise Bradley-Terry, and RL-VLM-F baselines. Across all environments, at least one PL ranking size ($K \in \{3,4,5\}$) consistently performs with or outperforms other methods in mean success rate. Unlike pairwise methods, which are restricted to $K=2$, PL supports different ranking sizes and can therefore be adapted to the environment and desired feedback format. Our best PL configuration achieves an 86% mean final success rate and matches the Oracle baseline on Drawer Open. Overall, these results demonstrate that listwise VLM preference supervision is a competitive and flexible approach to reward learning for reinforcement learning.
• Abstract（参考訳）: 視覚言語モデル(VLM)は強化学習のための強力な指導源として登場し、エージェントは訓練中に豊富な意味知識を活用できる。 人間のフィードバック(RLHF)からの強化学習における嗜好に基づく報奨学習(PbRL)の成功に触発されて、視覚言語モデルが生成した画像に基づく選好は、報奨関数の学習に有効な情報源となる。 これはBradley-Terry(BT)モデルを通じて2つの結果を視覚的に比較することで実現できる。 しかしながら、このペアワイズ式は、複数の候補をランク付けできるにもかかわらず、一度に2つの観測しか利用していない。 Plackett-Luce (PL) の定式化は、ペアの選好とは対照的に、リストワイズランキングを持つ報酬モデルを形成することができ、VLMベースのランキングをより適切に使用することができる。 本研究では,VLM生成した嗜好と報奨学習のためのPlackett-Luceモデルを組み合わせた最初のフレームワークを紹介する。 メタワールド操作タスクに対する我々のアプローチを評価し、Planet-Luce(PL)報酬モデルが、ペアワイドBradley-Terry、$K$-wiseBradley-Terry、RL-VLM-Fベースラインと同様に、VLM生成したランキングからロボットポリシーを効果的に訓練できることを示します。 すべての環境において、少なくとも1つのPLランキングサイズ(K \in \{3,4,5\}$)は、平均成功率で他のメソッドを一貫して上回る、または上回る。 K=2$に制限されているペアワイズメソッドとは異なり、PLは異なるランキングサイズをサポートしており、環境や望ましいフィードバックフォーマットに適応することができる。 私たちの最高のPL構成は86%の平均的な最終成功率を実現し、OracleのDrawer Openベースラインと一致しています。 これらの結果から,VLM選好指導は,強化学習のための報奨学習のための競争的かつ柔軟なアプローチであることが示唆された。

関連論文リスト

• Automating Potential-based Reward Shaping with Vision Language Model Guidance [2.8360662552057323]
  本稿では視覚言語モデルからのフィードバックから直接潜在的な機能を学ぶVLM誘導PBRSフレームワークを紹介する。 このアプローチはポテンシャルに基づく報酬形成に基づいているため、元の最適ポリシーを保っている。 結果として得られた選好ラベルは精度が低いが、実証的な証拠は、選好ラベルが学習を加速するためにも使用できることを示している。
  論文  参考訳（メタデータ） (2026-06-25T15:45:57Z)
• Beyond Pairwise: Empowering LLM Alignment With Ranked Choice Modeling [22.480423145082856]
  選好最適化を(ランク付けされた)選好モデルでブリッジする統合フレームワークであるランク付き選好最適化(RCPO)を提案する。 ランク付けされた選好データを直接活用し、適切な選択モデルと組み合わせることで、より効果的なアライメントが得られることを示す。
  論文  参考訳（メタデータ） (2025-10-24T03:48:47Z)
• Generalist Reward Models: Found Inside Large Language Models [50.7432354447554]
  我々は,従来の次世代予測によって訓練されたLarge Language Models (LLM) の中に,強力な報酬モデルが存在することを示す。 この内因性報酬は、オフライン逆強化学習によって学習された報酬関数ではないことを実証する。 また、この内因性報酬を用いた後続の強化学習が、ベースモデルと比較して明らかに優れたエラー境界を持つポリシーにつながることを証明した。
  論文  参考訳（メタデータ） (2025-06-29T13:45:54Z)
• Improving LLM General Preference Alignment via Optimistic Online Mirror Descent [57.622821649679786]
  人間からのフィードバックからの強化学習(RLHF)は、大きな言語モデル(LLM)と人間の嗜好の整合において顕著な効果を示した。 本稿では,Bradley-Terry (BT) モデル仮定を廃止し,汎用ゲームとして定式化された LLM のアライメントについて検討する。 提案手法は双対性ギャップ上の$O(T-1)$バウンドを達成し、以前の$O(T-1/2)$の結果を改善することを示す。
  論文  参考訳（メタデータ） (2025-02-24T05:24:52Z)
• InternLM-XComposer2.5-Reward: A Simple Yet Effective Multi-Modal Reward Model [80.93387166769679]
  IXC-2.5-Rewardは、大規模視覚言語モデルと人間の好みを一致させる、単純で効果的なマルチモーダル報酬モデルである。 IXC-2.5-Rewardは、最新のマルチモーダル報酬モデルベンチマークにおいて優れた結果を得るとともに、テキストのみの報酬モデルベンチマーク上での競合性能を示す。
  論文  参考訳（メタデータ） (2025-01-21T18:47:32Z)
• Bootstrapping Language Models with DPO Implicit Rewards [45.68366127605774]
  直接選好最適化(DPO)は、人間のフィードバックからの強化学習において、過去の作業からプロセスを大幅に単純化した。 本研究では,この暗黙の報酬モデル自体をブートストラップ方式で利用することにより,LLMをさらに整合させることができることを示す。 DPO ImpliCit rEwards (DICE) を用いた自己アライメント(自己アライメント)という手法はアライメントの大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-06-14T06:57:18Z)
• Generalizing Reward Modeling for Out-of-Distribution Preference Learning [3.9160947065896803]
  大規模言語モデル(LLM)による嗜好学習は、LLM世代を人間の嗜好に合わせることを目的としている。 人間のフィードバックを得るのが難しいため、遭遇した各分布に対する報酬モデルを個別に訓練することは困難である。 本研究は,メタラーニングアプローチによる一般報酬モデルの最適化により,OOD PLに対処する。
  論文  参考訳（メタデータ） (2024-02-22T18:20:33Z)
• LiPO: Listwise Preference Optimization through Learning-to-Rank [62.02782819559389]
  ポリシーは、プロンプトによってランク付けされた妥当な応答のリストからより効果的に学習することができる。 LiPO-$lambda$ は DPO 変種と SLiC をいくつかの選好アライメントタスクにおいて明確なマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2024-02-02T20:08:10Z)
• Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models [69.51130760097818]
  本研究では,報奨誘導型ルーティング手法であるZooterを提案する。 さまざまなドメインやタスクについて26のサブセットを持つ総合的なベンチマークコレクション上でZooterを評価する。
  論文  参考訳（メタデータ） (2023-11-15T04:40:43Z)
• Principled Reinforcement Learning with Human Feedback from Pairwise or $K$-wise Comparisons [79.98542868281473]
  RLHF(Reinforcement Learning with Human Feedback)の理論的枠組みを提供する。 学習した報酬モデルに基づいてポリシーをトレーニングする際、MLEは失敗し、悲観的なMLEは特定のカバレッジ仮定の下で性能を改善したポリシーを提供する。
  論文  参考訳（メタデータ） (2023-01-26T18:07:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。