論文の概要: Self-Labeled Preference Transfer for Steerable Robot Manipulation

• arxiv url: http://arxiv.org/abs/2610.38000v1
• Date: Tue, 27 Oct 2026 21:51:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 19:07:29.932767
• Title: Self-Labeled Preference Transfer for Steerable Robot Manipulation
• Title（参考訳）: ステアブルロボットマニピュレーションのための自己ラベル型選好伝達
• Abstract要約: 学習した嗜好制御が、所望の振る舞いを含むが好意的アノテーションが欠如している新しいタスクに移行できるかどうかを検討する。 好みのアノテーションで訓練されたポリシーは、適応前に新しいタスクの好みに従うことができるが、タスクの成功は限定的である。 SPT(Self-Labeled Preference Transfer)を導入し、タスクやオブジェクト間の優先順応をサポートしながら、成功を維持する。
• 参考スコア（独自算出の注目度）: 14.743013228419846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language-action (VLA) policies can learn to follow execution preferences, such as where to grasp an object or how to move around an obstacle, from demonstrations annotated with preference labels. Providing these annotations for every new task, however, is costly. We study whether learned preference control can transfer to new tasks whose demonstrations contain the desired behaviors but lack preference annotations. We find that a policy trained with preference annotations can follow preferences on a new task before adaptation but achieves limited task success. Fine-tuning on target demonstrations without these annotations improves task success while weakening preference control. Motivated by this finding, we introduce Self-Labeled Preference Transfer (SPT). SPT jointly trains a shared vision-language backbone for preference-conditioned action prediction and preference recognition on annotated source demonstrations. It then freezes the recognizer to preserve its cross-task preference recognition capability and uses it to self-label target demonstrations for policy fine-tuning. Across five types of execution preferences in simulation, the recognizer achieves 96.4% accuracy, and SPT reaches 84.8% preference following and 89.2% task success, compared with 59.4% and 88.0% for naive finetuning. We further extend to multiple preferences, achieving 93.8% preference following compared with 42.5% of baselines. In real-world experiments, SPT increases preference following from 52.5% to 92.5% relative to naive finetuning across two task transfers. These results show that SPT can support preference adaptation across tasks and objects while maintaining success, without additional manual preference annotations.
• Abstract（参考訳）: VLA(Vision-Language-action)ポリシは、オブジェクトの把握方法や障害の回避方法など、実行の好みを、好みラベルにアノテートされたデモから学習することができる。 しかし、新しいタスクごとにこれらのアノテーションを提供することは、コストがかかる。 学習した嗜好制御が、所望の振る舞いを含むが好意的アノテーションが欠如している新しいタスクに移行できるかどうかを検討する。 好みのアノテーションで訓練されたポリシーは、適応前に新しいタスクの好みに従うことができるが、タスクの成功は限定的である。 これらのアノテーションを使わずにターゲットのデモを微調整することで、タスクの成功が向上し、好みの制御が弱まる。 そこで本研究では,SPT(Self-Labeled Preference Transfer)を紹介した。 SPTは、アノテートされたソースデモにおいて、優先条件のアクション予測と優先認識のための共有視覚言語バックボーンを共同で訓練する。 そして、認識器を凍結して、そのクロスタスクの嗜好認識能力を保ち、ポリシーの微調整のために自己ラベルのターゲットデモに使用する。 シミュレーションでは5種類の実行選好で96.4%の精度を達成し、SPTは84.8%の選好、89.2%のタスク成功を達成した。 我々はさらに複数の選好に拡張し、ベースラインの42.5%と比較して93.8%の選好を達成した。 実世界の実験では、SPTは2つのタスク転送における単純な微調整と比較して52.5%から92.5%へと好みを増す。 これらの結果から,SPTはタスクやオブジェクト間の嗜好適応をサポートしながら,手作業による選好アノテーションを付加することなく成功を維持できることがわかった。

関連論文リスト

• SWE-VERIFIER: Selective Verification for Cost-Efficient Coding Agents [39.498811442325206]
  不適切なアクション選択は、エージェントを低値の状態にステアリングし、計算を無駄にし、APIコストを増大させる。 本稿では、候補サンプリングと検証を選択的にトリガする軽量な生成モデルであるSWE-Verifierを紹介する。 コーディングエージェントの提案したアクションを評価して、追加の候補サンプリングが必要なタイミングを決定し、実行前に結果のアクションをランク付けする。
  論文  参考訳（メタデータ） (2026-10-21T18:02:33Z)
• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• Learning to Act with Task Progress: Distilling Small Agents from Compact Teacher Supervision [0.0]
  大きなモデルデモから学ぶことで、すべてのステップで大きなモデルを呼び出すことなく、繰り返しタスクを完了できる小さなエージェントを訓練することが可能になる。 本稿では,現在のタスクステージを記述した短いラベルと,各アクションをペアリングするオフラインアプローチであるTask-Progress Distillation(TPD)を紹介する。 404回のデモで訓練を受けた1.7Bの学生は72.4%がTPDまたはアクションオンリーの監督で未確認のタスクを成功させる。
  論文  参考訳（メタデータ） (2026-10-07T16:15:56Z)
• Implicit Manipulation for Skill Selection in LLM Agents with Semantic Matching [19.025072797409198]
  セマンティックマッチング(ISM)によるインプシティスキル選択操作について述べる。 ISMは、ターゲットスキルメタデータと再利用可能なプロンプトを作成し、明示的な選択命令なしでスキル選択を操作する。 人間のレビュアーはISMをわずか2.9%でブロックするが、明示的なステアリングは91.4%である。
  論文  参考訳（メタデータ） (2026-09-02T03:07:11Z)
• Task-Conditioned Least-Privilege Learning for Executable Terminal and MCP Agents [45.88028371034407]
  ツールを使用する大規模言語モデルエージェントは、ユーザが許可しなかったり、タスクが不要であったりする権限を行使しながらタスクを完了することができる。 本研究では,6次元のリスクを伴って各行動が実行前および観測結果から監査される枠組みを提案する。 このフレームワークを1500以上のタスクでQwen3.5-4Bでトレーニングした後、選択された種子は2,896回の評価エピソードで98.48%の安全成功に達した。
  論文  参考訳（メタデータ） (2026-08-18T22:07:23Z)
• Less Data, Better Alignment: Data-Centric Multi-Evaluator Agreement for Preference Optimization [20.147316178118732]
  DMAPOは、ターゲットポリシーから候補応答を生成し、有用性、事実性、およびルーリック特異的評価器による簡潔性を評価する。 この手続きは、54,236人のMistral-7B候補のうち1,871人(3.45%)を受け入れている。 このセットで訓練されたKTOは、MT-Benchで7.50点、テキストダヴィンチ003参照に対して95.5%の勝利率、IFEvalが57.3%に達した。
  論文  参考訳（メタデータ） (2026-07-27T23:05:12Z)
• KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
  KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。 42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。 明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
  論文  参考訳（メタデータ） (2026-04-09T16:50:50Z)
• UI-Ins: Enhancing GUI Grounding with Multi-Perspective Instruction-as-Reasoning [51.54456545661045]
  本稿では,インストラクション・アズ・ア・推論(Instruction-as-Reasoning)パラダイムを導入し,インストラクションを動的解析経路として扱う。 これを実現するために,教師付き微調整と強化学習という2段階のトレーニングフレームワークを提案する。 得られたモデルであるUI-Ins-7BとUI-Ins-32Bは、5つの挑戦的なグラウンドベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2025-10-23T07:18:32Z)
• Sharpe Ratio-Guided Active Learning for Preference Optimization in RLHF [67.48004037550064]
  本稿では,プロンプトと選好のペアを効率的に選択する能動的学習手法を提案する。 提案手法は,モデル更新に対する影響を評価するために,すべての潜在的選好アノテーションの勾配を評価する。 実験の結果,提案手法は,選択した完了に対する勝利率を最大5%向上させることがわかった。
  論文  参考訳（メタデータ） (2025-03-28T04:22:53Z)
• SLPT: Selective Labeling Meets Prompt Tuning on Label-Limited Lesion Segmentation [57.37875162629063]
  本稿では,限定ラベルの性能向上のために,選択的ラベリングと即時チューニングを組み合わせたフレームワークを提案する。 肝腫瘍の分節化について検討し, 従来の微調整を6%程度で達成した。
  論文  参考訳（メタデータ） (2023-08-09T12:22:49Z)
• STraTA: Self-Training with Task Augmentation for Better Few-shot Learning [77.04780470527432]
  タスク拡張による自己学習のためのSTraTAを提案する。 実験の結果,STraTAは12個のベンチマークでサンプル効率を大幅に向上できることがわかった。 分析の結果,タスク強化と自己学習は相補的かつ独立的に有効であることが判明した。
  論文  参考訳（メタデータ） (2021-09-13T19:14:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。