論文の概要: Reducing Oracle Feedback with Vision-Language Embeddings for Preference-Based RL

• arxiv url: http://arxiv.org/abs/2603.28053v1
• Date: Mon, 30 Mar 2026 05:33:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.24459
• Title: Reducing Oracle Feedback with Vision-Language Embeddings for Preference-Based RL
• Title（参考訳）: 優先順位ベースのRLのためのビジョンランゲージ埋め込みによるOracleのフィードバックの削減
• Abstract要約: ROVEDは、VLEベースの監視とターゲットとするオラクルフィードバックを組み合わせたハイブリッドフレームワークである。 提案手法では,VLEを用いてセグメントレベルの嗜好を生成し,不確実性の高いサンプルのみをオラクルにフェールさせる。 複数のロボット操作タスクにまたがって、ROVEDは事前の嗜好ベースのメソッドにマッチまたは超過し、オラクルクエリを最大80%削減する。
• 参考スコア（独自算出の注目度）: 18.45416397753188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preference-based reinforcement learning can learn effective reward functions from comparisons, but its scalability is constrained by the high cost of oracle feedback. Lightweight vision-language embedding (VLE) models provide a cheaper alternative, but their noisy outputs limit their effectiveness as standalone reward generators. To address this challenge, we propose ROVED, a hybrid framework that combines VLE-based supervision with targeted oracle feedback. Our method uses the VLE to generate segment-level preferences and defers to an oracle only for samples with high uncertainty, identified through a filtering mechanism. In addition, we introduce a parameter-efficient fine-tuning method that adapts the VLE with the obtained oracle feedback in order to improve the model over time in a synergistic fashion. This ensures the retention of the scalability of embeddings and the accuracy of oracles, while avoiding their inefficiencies. Across multiple robotic manipulation tasks, ROVED matches or surpasses prior preference-based methods while reducing oracle queries by up to 80%. Remarkably, the adapted VLE generalizes across tasks, yielding cumulative annotation savings of up to 90%, highlighting the practicality of combining scalable embeddings with precise oracle supervision for preference-based RL.
• Abstract（参考訳）: 優先度に基づく強化学習は、比較から効果的な報酬関数を学習することができるが、そのスケーラビリティはオラクルフィードバックの高コストによって制約される。 軽量視覚言語埋め込み(VLE)モデルは安価な代替手段を提供するが、ノイズの多い出力はスタンドアロンの報酬生成器としての有効性を制限する。 この課題に対処するため、我々は、VLEベースの監視と目標とするオラクルフィードバックを組み合わせたハイブリッドフレームワークROVEDを提案する。 本手法では,VLEを用いてセグメントレベルの嗜好を生成し,フィルタ機構を用いて同定した不確実性の高いサンプルに対してのみ,オラクルにフェーザを付与する。 さらに, パラメータ効率のよい微調整手法を導入し, 得られたオラクルフィードバックにVLEを適応させることにより, 時間とともにモデルをシナジスティックな方法で改善する。 これにより、埋め込みのスケーラビリティとオラクルの精度を保ちながら、その非効率さを回避できる。 複数のロボット操作タスクにまたがって、ROVEDは事前の嗜好ベースのメソッドにマッチまたは超過し、オラクルクエリを最大80%削減する。 注目すべきことに、適応されたVLEはタスクをまたいで一般化し、最大90%の累積的なアノテーションの節約をもたらす。

関連論文リスト

• Controllable and Verifiable Tool-Use Data Synthesis for Agentic Reinforcement Learning [82.89535601592739]
  マルチレベル検証を用いた自己進化型合成により,信頼性の高い基本ツール利用軌跡を生成する2段階パイプラインを提案する。 これらの拡張は、トラクタツール、間接的または曖昧なユーザクエリ、ノイズ、マルチフォーマット、あるいは誤ったツール出力を導入します。 本設計では,標準事例に対する参照マッチングによる報酬の自動計算と,エラー検出などの特別な動作に対する軽量な判断支援検証を実現する。
  論文  参考訳（メタデータ） (2026-04-10T18:38:52Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Fine-tuning LLMs with variational Bayesian last layer for high-dimensional Bayesian optimization [4.1234601543641904]
  高い評価コストを伴うブラックボックス最適化問題は、サンプル効率でブラックボックス最適化問題を解く必要がある。 本稿では,高次元の入力変数から目的関数へのマッピングをモデル化するニューラルネットワークに基づくサロゲートを提案する。 提案した(ENS-)LoRA-VBLL手法の様々な高次元ベンチマークおよび実世界の分子最適化タスクにおける性能を実証する。
  論文  参考訳（メタデータ） (2025-10-01T21:28:50Z)
• AFLoRA: Adaptive Federated Fine-Tuning of Large Language Models with Resource-Aware Low-Rank Adaption [3.805501490912696]
  フェデレートされた微調整は、分散データを使用して下流タスクにファンデーションモデルを適用するための有望なアプローチとして現れている。 大規模言語モデルのための適応的で軽量なファインチューニングフレームワークであるAFLoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-30T16:35:32Z)
• UORA: Uniform Orthogonal Reinitialization Adaptation in Parameter-Efficient Fine-Tuning of Large Models [7.706953461614795]
  一様直交再初期化適応(Uniform Orthogonal Reinitialization Adaptation, UORA)は、大規模言語モデル(LLM)のための新しいパラメータ効率細調整(PEFT)アプローチである。
  論文  参考訳（メタデータ） (2025-05-26T15:56:40Z)
• Lightweight and Direct Document Relevance Optimization for Generative Information Retrieval [49.669503570350166]
  生成情報検索(GenIR)は、文書識別子(ドシデント)生成タスクとして文書検索を定式化する有望なニューラル検索パラダイムである。 既存のGenIRモデルはトークンレベルのミスアライメントに悩まされており、次のトークンを予測するためにトレーニングされたモデルは、ドキュメントレベルの関連性を効果的にキャプチャできないことが多い。 本稿では,トークンレベルのドシデント生成と文書レベルのドシデンス推定をペアのランク付けによる直接最適化により整合するダイレクトドキュメントレバレンス最適化(DDRO)を提案する。
  論文  参考訳（メタデータ） (2025-04-07T15:27:37Z)
• SELF: Surrogate-light Feature Selection with Large Language Models in Deep Recommender Systems [51.09233156090496]
  ディープレコメンデータシステムのためのSurrogatE-Light特徴選択法 SELFは、大規模言語モデルからのセマンティック推論と、代理モデルからのタスク固有の学習を統合する。 実世界のレコメンデータプラットフォームからの3つの公開データセットに関する総合的な実験は、SELFの有効性を検証する。
  論文  参考訳（メタデータ） (2024-12-11T16:28:18Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Online Iterative Reinforcement Learning from Human Feedback with General Preference Model [20.81421550138371]
  本稿では,人間のフィードバックからの強化学習(RLHF)について,一般的な嗜好のオラクルの文脈で検討する。 我々は、RLHFの2つのLLM間の逆KL正規化ミニマックスゲームである標準的な数学的定式化を考える。 このフレームワークは報酬ベースよりも厳密に汎用的であり,事前選択された選好データセットからオフライン学習を行うためのサンプル効率のよいアルゴリズムとオンライン学習を提案する。
  論文  参考訳（メタデータ） (2024-02-11T21:44:21Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。