論文の概要: JoyInside-VLM-Agent: Product-Conditioned Multimodal Policy Learning for Embodied Agents

• arxiv url: http://arxiv.org/abs/2610.12957v1
• Date: Fri, 09 Oct 2026 03:54:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.380243
• Title: JoyInside-VLM-Agent: Product-Conditioned Multimodal Policy Learning for Embodied Agents
• Title（参考訳）: JoyInside-VLM-Agent: 製品構築型マルチモーダル政策学習
• Abstract要約: JoyInside-VLM-Agent(ジョイインサイド-VLM-Agent)は、製品条件付き軌道構築と段階的政策学習によって開発されたReActスタイルのマルチモーダルエージェントである。 DPERによる強化学習に先立って, 微調整と多教師のオンライン蒸留を指導した。 DPERは、凍結された特権教師とロールアウトポリシーのパラメータを共有する特権学生の間にトークンレベルの証拠をルーティングする。 JoyInside-VLM-Agent は BFCL v4 の総合スコア 77.44 を達成し、評価ベースラインを超えた。
• 参考スコア（独自算出の注目度）: 18.28037891364436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embodied agents must translate multimodal observations and user requests into executable actions while adapting to product constraints, changing goals, and execution feedback. We present JoyInside-VLM-Agent, a ReAct-style multimodal agent developed through product-conditioned trajectory construction and staged policy learning for robotic platforms and smart hardware. A closed-loop sandbox generates multimodal interaction trajectories covering goal revisions and failure recovery, which are checked against execution outcomes and semantic criteria. Supervised fine-tuning and multi-teacher on-policy distillation precede reinforcement learning with DPER (Dual-Source Privileged On-Policy Self-Distillation with Token-Level Evidence Routing). DPER routes token-level evidence between a frozen privileged teacher and a privileged student sharing the rollout policy's parameters, modulating reward-derived token advantages while preserving their signs. Training rewards combine generative process evaluation, multi-judge rankings, and task-queue consistency. JoyInside-VLM-Agent achieves a BFCL v4 overall score of 77.44, exceeding the evaluated baselines; results on the other public benchmarks are mixed. On JoyInside-Devices and JoyInside-Robotics, the evaluated system, which includes domain-specific skill refinement, leads the baselines on all reported metrics. Two real-world quadruped case studies illustrate visually grounded search, replanning after execution failure, and explicit failure reporting.
• Abstract（参考訳）: エージェントは、製品制約、目標の変更、実行時のフィードバックに適応しながら、マルチモーダルな観察とユーザ要求を実行可能なアクションに変換する必要があります。 本稿では,ReAct-style multimodal agentであるJoyInside-VLM-Agentについて紹介する。 クローズドループサンドボックスは、実行結果やセマンティック基準に対してチェックされるゴールリビジョンと障害回復をカバーするマルチモーダルインタラクショントラジェクトリを生成する。 DPER(Dual-Source Privileged On-Policy Self-Distillation with Token-Level Evidence Routing)による強化学習に先立って, 微調整と多段階蒸留を指導した。 DPERは、凍結された特権を持つ教師と、ロールアウトポリシーのパラメータを共有する特権のある学生の間にトークンレベルのエビデンスをルーティングし、サインを保存しながら報酬由来のトークンのアドバンテージを調節する。 トレーニング報酬は、生成プロセスの評価、マルチタスクのランキング、タスクキューの一貫性を組み合わせたものだ。 JoyInside-VLM-Agent は BFCL v4 の総合スコア 77.44 に達し、評価されたベースラインを超える。 JoyInside-DevicesとJoyInside-Roboticsでは、ドメイン固有のスキル改善を含む評価システムによって、報告されたすべてのメトリクスのベースラインが導かれる。 実世界の4つのケーススタディでは、視覚的に接地された検索、実行失敗後のリプランニング、明示的な障害報告が示されている。

関連論文リスト

• SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation [24.836022752759035]
  検証可能な報酬付き強化学習(RLVR)は,様々なタスクにおいて大規模言語モデル(LLM)を改善するための標準パラダイムとなっている。 我々は,自己指導型政策最適化(SIPO)と対照的な自己指導型政策最適化(SIPO)を提案する。
  論文  参考訳（メタデータ） (2026-09-29T05:15:41Z)
• ARS: Agentic Reward System for Robot Learning [9.149707597640221]
  Agentic Reward System (ARS) は、進捗報酬モデリングのための推論フレームワークである。 ARSは、イベントの提案と検証の両方に適応的な視覚検査を使用する。 ARSは、任意の端末結果ラベルと視覚的参照を組み込んで判断を通知することができる。
  論文  参考訳（メタデータ） (2026-09-28T07:37:09Z)
• MATES: Learning Multi-Agent Interactions by Transforming Observations for Frozen Single-Agent Policies [2.2801444394060257]
  MATES(Multi-Agent Observation Transformation for existing Single-Agent Policies)について紹介する。 MATESは、個別に識別可能な隣接情報を公開しながら、単独タスク情報を保存しているタスクのための入力側適応フレームワークである。 我々は、生涯にわたるパスフィニング、ナビゲーション、協調的な発見において、オン・アンド・オフ・ポリシーのアルゴリズムを用いてMATESを評価する。
  論文  参考訳（メタデータ） (2026-09-22T11:10:34Z)
• IndustrialVLA-Bench: A Traceable Multi-Axis Evaluation of Open Robot Policy Models [33.966043117465816]
  IndustrialVLA-Benchは、6つの視覚言語モデル(VLA)と世界行動モデル(WAM)のエビデンス対応評価である。 LIBEROのクリーンな機能、LIBERO-Plusの非言語的堅牢性、LIBERO-Paraの命令感度、実行コストを別々に評価する。
  論文  参考訳（メタデータ） (2026-09-22T01:51:09Z)
• MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution [3.5615347765658396]
  長期的な実施タスクは、タスクの成功が観察される前に、多くの依存アクションを実行するポリシーを必要とする。 MementOは、コード・アズ・ポリティクスの進化のためのメモリ誘導シングルエリート・メメティック・フレームワークである。 長地平線を具現化した2つのドメイン(Robosuite Franka Tower-of-Hanoi)とAI2-THORホームインタラクション)でMementOを評価した。
  論文  参考訳（メタデータ） (2026-07-24T18:16:35Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• On Generative Agents in Recommendation [58.42840923200071]
  Agent4Recは、Large Language Modelsに基づいたレコメンデーションのユーザーシミュレータである。 各エージェントは、ページ単位でパーソナライズされた推奨モデルと対話する。
  論文  参考訳（メタデータ） (2023-10-16T06:41:16Z)
• Learning From Good Trajectories in Offline Multi-Agent Reinforcement Learning [98.07495732562654]
  オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから効果的なマルチエージェントポリシーを学ぶことを目的としている。 オフラインのMARLが学んだエージェントは、しばしばこのランダムなポリシーを継承し、チーム全体のパフォーマンスを脅かす。 この問題に対処するために,共有個人軌道(SIT)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-28T18:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。