論文の概要: PreferenceFlow: Test-Time Guidance of Flow-Matching Robot Policies from Human Interventions

• arxiv url: http://arxiv.org/abs/2609.36872v1
• Date: Tue, 29 Sep 2026 07:08:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.257765
• Title: PreferenceFlow: Test-Time Guidance of Flow-Matching Robot Policies from Human Interventions
• Title（参考訳）: PreferenceFlow:人間の介入によるフローマッチングロボットポリシーのテスト時間ガイダンス
• Abstract要約: PreferenceFlowは、環境報酬やベースポリシーのアップデートなしに、テスト時に事前トレーニングされたフローポリシーを改善するためのフレームワークである。 フランカロボットによる4つの高精度挿入タスクにおいて、Pref-erenceFlowは凍結ポリシーの69%に比べて90.5%の成功率を達成した。
• 参考スコア（独自算出の注目度）: 33.469989936169334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flow-matching policies can represent complex robot behaviors but remain susceptible to local errors under distribution shift at deployment. Many reinforcement learning approaches to policy improvement require reward signals that are difficult to specify or obtain in real-world manipulation. We present PreferenceFlow, a framework for improving a pretrained flow policy at test time without environment rewards or updates to the base policy. Human intervention chunks are paired with robot chunks generated from the same initial conditioning state to train a preference model. During infer- ence, we adopt the QGF sampling update, replacing its value gradient with the preference gradient evaluated at an estimated clean action. A gradient-cap loss penalizes excessive gradients on intervention pairs, while a zero-gradient loss discourages guidance near actions from expert demonstrations. On four real-world precision insertion tasks with a Franka robot, Pref- erenceFlow achieves a mean success rate of 90.5%, compared with 69% for the frozen policy. Ablations support the roles of gradient regularization and correctly ordered preference labels in the evaluated settings. These results demonstrate the utility of human interventions as local preference supervision for guiding frozen generative robot policies.
• Abstract（参考訳）: フローマッチングポリシは複雑なロボットの動作を表すことができるが、デプロイメント時の分散シフトの下での局所的なエラーの影響を受けない。 政策改善のための強化学習アプローチの多くは、現実世界の操作において特定または取得が難しい報酬信号を必要とする。 PreferenceFlowは、環境報酬やベースポリシーの更新なしに、事前訓練されたフローポリシーをテスト時に改善するためのフレームワークである。 人間の介入チャンクは、同じ初期条件付け状態から生成されたロボットチャンクとペアになって、選好モデルを訓練する。 Infer-ence中、我々はQGFサンプリング更新を採用し、その値勾配を推定されたクリーンアクションで評価された嗜好勾配に置き換える。 グラデーションキャップの損失は介入ペアの過度な勾配を罰し、ゼロ段階の損失は専門家のデモンストレーションからのアクションの近くでのガイダンスを妨げます。 フランカのロボットによる4つの実世界の高精度挿入タスクにおいて、Pref-erenceFlowは凍結ポリシーの69%に比べて90.5%の平均的な成功率を達成した。 アブレーションは、評価された設定において、勾配正則化と正しく順序付けられた選好ラベルの役割をサポートする。 これらの結果は、凍結した生成ロボットポリシーを導くための局所的選好監督としての人間の介入の有用性を示している。

関連論文リスト

• On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
  強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。 そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
  論文  参考訳（メタデータ） (2026-08-25T14:55:24Z)
• RoMAN-Flow: Taming Autoregressive Normalizing Flows for Offline Reinforcement Learning in Robotic Manipulation [36.16163751472016]
  オフライン強化学習フレームワークは、ロボット操作にAR-NFポリシーを実用的なものにする。 RoMAN-Flowはサンプリング不要で有利な可能性の目標を採用している。 シミュレーションされた操作ベンチマークと実世界のロボットプラットフォームによる実験は、RoMAN-Flowが競合ポリシーのパフォーマンスを達成することを実証している。
  論文  参考訳（メタデータ） (2026-08-20T16:07:56Z)
• Max-Q Selective Imitation for Human-in-the-Loop Online Robot Learning [1.96243636752331]
  実際のロボットのためのHIL(Human-in-the-loop)オンライン強化学習は、人間の介入を素早く吸収し、人間の先行性を超えて改善し続けなければならない。 本稿では,この2つのコンポーネントをベースとしたトレーニング手法を提案する。 emphMC Q-chunk 批判者は、モンテカルロへのチャンクレベルのアクション値をリプレイバッファから返します。 emphmax-Qの選択的な模倣は、各状態において、現在のポリシーアクションとバッファサンプルの間の高額なQ$アクションを模倣することでアクターを更新する。
  論文  参考訳（メタデータ） (2026-08-15T07:13:59Z)
• FlowDAgger: Human-in-the-Loop Adaptation of Generative Robot Policies in Latent Space [15.351960740594201]
  FlowDAggerは、潜伏空間における人間の介入から凍結した生成ロボットポリシーを適用するためのサンプルおよび計算効率のよい方法である。 私たちのキーとなるアイデアはアクション・インバージョン(アクション・インバージョン)です。 本研究では,FlowDAggerのシミュレーションおよび実世界のバイマニュアルおよびシングルアーム操作について評価する。
  論文  参考訳（メタデータ） (2026-07-09T19:07:33Z)
• Improving Robotic Generalist Policies via Flow Reversal Steering [92.97477771370428]
  汎用ポリシーは多様なロボットデータセットから幅広いスキルを学ぶことができる。 新しい課題を解決し、改善するためには、ポリシーのリッチな振る舞いから適切なアクションを推論し、呼び出す方法が必要です。 本稿では,フローリバーサルステアリング (FRS) を提案し,フローポリシーを逆に通すことで,最適だが合理的な動作をとる手法を提案し,それらを一般の動作モードにマッピングする。
  論文  参考訳（メタデータ） (2026-06-11T17:59:45Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• FlowCorrect: Efficient Interactive Correction of Generative Flow Policies for Robotic Manipulation [0.7666240799116112]
  FlowCorrectはモジュール型のインタラクティブな模倣学習アプローチで、フローマッチング操作ポリシのデプロイメント時適応を可能にする。 実際のロボットを4つのテーブルトップタスク(ピック・アンド・プレイス、注ぐ、カップアップライト、挿入)で評価した。 修正予算の低いFlowCorrectは、以前に失敗したケースで80%の成功率を達成した。
  論文  参考訳（メタデータ） (2026-02-25T16:06:49Z)
• Flow Policy Gradients for Robot Control [67.61978635211048]
  フローマッチングポリシ勾配は、より表現力のあるポリシのトレーニングと微調整に有効である。 我々は、スクラッチからトレーニングを行う際に、フロー表現をどのように活用するかを示し、ベースラインよりもきめ細やかな堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-02-02T18:56:49Z)
• FDPP: Fine-tune Diffusion Policy with Human Preference [57.44575105114056]
  人間の嗜好を考慮した微調整拡散政策は、嗜好に基づく学習を通して報酬関数を学習する。 この報酬は、訓練済みの政策を強化学習で微調整するために使われる。 実験により、FDPPは性能を損なうことなく、効果的にポリシーの動作をカスタマイズできることが示されている。
  論文  参考訳（メタデータ） (2025-01-14T17:15:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。