論文の概要: Robot Learning with Vision-Language-Action Models for Agricultural Manipulation

• arxiv url: http://arxiv.org/abs/2610.26717v1
• Date: Mon, 19 Oct 2026 16:49:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 01:47:53.897277
• Title: Robot Learning with Vision-Language-Action Models for Agricultural Manipulation
• Title（参考訳）: 農業マニピュレーションのための視覚言語行動モデルを用いたロボット学習
• Abstract要約: 我々は,農業の到達と把握のためのシミュレーションから現実のロボット学習フレームワークを開発した。 Octoと$_0.5$の2つの事前訓練されたジェネラリストロボットポリシーをシミュレートされたデモを用いて適応する。 その結果,0.0.5$はOctoよりも高いタスクパフォーマンスを達成でき,分散シフト下での劣化も少ないことがわかった。
• 参考スコア（独自算出の注目度）: 0.30586855806896046
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Robotic manipulation in agricultural environments remains challenging due to variations in plant geometry, occlusion, and camera viewpoints. Pretrained vision-language-action (VLA) and generalist robot policies offer a promising approach to addressing these challenges by learning manipulation behaviors from multimodal observations and language instructions. However, adapting these policies to agricultural tasks requires domain-specific demonstrations, which are costly and time-consuming to collect on physical robots. In this work, we develop a simulation-to-real robot-learning framework for agricultural reaching and grasping that integrates task-specific demonstration collection and pretrained policy adaptation. A MuJoCo-based agricultural environment is developed with diverse tomato plant structures to support demonstration collection and controlled evaluation. Expert demonstrations are collected through joystick teleoperation, with a low-level controller used to execute robot actions. Two pretrained generalist robot policies, Octo and $π_{0.5}$, are adapted using simulated demonstrations, followed by further fine-tuning on a physical Franka Research 3 manipulator using real-robot demonstrations. The adapted policies are evaluated under in-distribution, viewpoint/spatial-shift, and out-of-distribution conditions in simulation, followed by physical-robot experiments. The influence of proprioceptive information on policy performance is also investigated. Results show that $π_{0.5}$ achieves higher task-performance scores than Octo and exhibits less degradation under distribution shifts. These findings demonstrate the potential of integrating pretrained generalist policies with task-specific demonstration learning for agricultural manipulation.
• Abstract（参考訳）: 農業環境におけるロボット操作は、植物幾何学、隠蔽、カメラの視点の違いにより、依然として困難である。 事前訓練された視覚言語アクション(VLA)と汎用ロボットポリシーは、多モード観察と言語指示から操作行動を学ぶことによって、これらの課題に対処するための有望なアプローチを提供する。 しかし、これらのポリシーを農業タスクに適用するには、物理的なロボットで収集するのに費用と時間を要する、ドメイン固有のデモンストレーションが必要である。 本研究では,タスク固有の実演収集と事前訓練された政策適応を統合した,農業の到達と把握のためのシミュレーションから現実のロボット学習フレームワークを開発する。 MuJoCoを基盤とした農業環境は, 各種トマト植物構造を用いて, 実証収集と制御評価を支援する。 専門家によるデモはジョイスティックの遠隔操作を通じて収集され、ロボットアクションの実行に使用される低レベルコントローラが使用される。 Octo と $π_{0.5}$ の2つの事前訓練されたジェネラリストロボットポリシーは、シミュレーションされたデモを使用して適応され、続いて実ロボットのデモを用いた物理フランカリサーチ3マニピュレータのさらなる微調整が行われる。 適応されたポリシーは, シミュレーションにおける分布内, 視点/空間シフト, 分布外条件下で評価され, 次いで物理ロボット実験によって評価される。 また,プロプリセプティブ情報による政策評価への影響についても検討した。 その結果, π_{0.5}$はOctoよりも高いタスク性能を達成でき, 分散シフト下での劣化も少ないことがわかった。 これらの知見は、事前訓練されたジェネリスト政策とタスク固有の実演学習を統合して農業操作を行う可能性を示している。

関連論文リスト

• KnowDemo: Knowledge-Guided Robot Demonstration Generation from Human Videos [4.5624618494435705]
  KnowDemoは、人間のビデオから構造化された操作知識を使用して、多様なロボットデモを生成するフレームワークである。 政策学習のために生成したデータを検証し,3つのタスクにまたがるシム・トゥ・リアル・トランスファーを実現する。
  論文  参考訳（メタデータ） (2026-09-18T02:19:13Z)
• In-Context Robot Learning with VLM Agents [45.801127106171016]
  本稿では,テキスト内ロボット学習のための汎用フレームワークであるGPT-Policyを紹介する。 タスクの成功と効率の指標を通じて信頼性と限界を評価します。 実際のロボット実験では、人間のビデオデモはロボットアクションラベルなしでもタスク完了を改善する。
  論文  参考訳（メタデータ） (2026-09-16T17:58:35Z)
• XPACE: Joint World and Action Modeling from Heterogeneous Experience [49.17824968489423]
  汎用ロボットは、多様な経験を生かし、アクションを選択し、それらのアクションがどのように世界を変えるかを予測する必要がある。 我々は,ワールドアクションモデルとシミュレータの両方を兼ね備えた,統一型世界モデルであるXPACEを紹介する。 ポリシーとシミュレーター間のビデオバックボーンを共有することで、視覚力学とアクションラベル付き人間とロボットのデモを学ぶためにアクションラベル付きビデオを使用する。
  論文  参考訳（メタデータ） (2026-09-15T16:07:34Z)
• Dexplore: Scalable Neural Control for Dexterous Manipulation from Reference-Scoped Exploration [58.4036440289082]
  ハンドオブジェクトモーションキャプチャ(MoCap)は、大規模でコンタクトに富んだデモと、器用なロボットスコープの約束を提供する。 Dexploreは、リポジトリとトラッキングを実行し、MoCapから直接ロボット制御ポリシーを学習する、統一された単一ループ最適化である。
  論文  参考訳（メタデータ） (2025-09-11T17:59:07Z)
• WorldGym: World Model as An Environment for Policy Evaluation [41.204900701616914]
  WorldGymは、実環境のプロキシとして機能する自動回帰、アクション条件付きビデオ生成モデルである。 ポリシーはモンテカルロの世界モデルによるロールアウトを通じて評価され、視覚言語モデルが報酬を提供する。 We show that WorldGym can maintain relative policy rankings across different policy version, sizes, and training checkpoints。
  論文  参考訳（メタデータ） (2025-05-31T15:51:56Z)
• GRAPPA: Generalizing and Adapting Robot Policies via Online Agentic Guidance [15.774237279917594]
  本稿では,ロボットによる自己指導と自己改善のためのエージェントフレームワークを提案する。 本フレームワークは,環境中の関連オブジェクトに対して,ベースロボットポリシーを反復的に適用する。 弊社のアプローチは、操作ポリシーを効果的にガイドし、成功率を大幅に向上させることを実証する。
  論文  参考訳（メタデータ） (2024-10-09T02:00:37Z)
• VITAL: Interactive Few-Shot Imitation Learning via Visual Human-in-the-Loop Corrections [10.49712834719005]
  イミテーション・ラーニング(IL)はロボット工学において強力なアプローチとして登場し、ロボットは人間の行動を模倣することで新しいスキルを身につけることができる。 その可能性にもかかわらず、ILのデータ収集プロセスは、ロジスティックな困難と高品質なデモンストレーションの獲得に伴う高コストのため、依然として重要な課題である。 本稿では,シミュレーションにおけるデータ拡張を通じて,少数の実演から大規模データ生成を提案する。
  論文  参考訳（メタデータ） (2024-07-30T23:29:47Z)
• DiffGen: Robot Demonstration Generation via Differentiable Physics Simulation, Differentiable Rendering, and Vision-Language Model [72.66465487508556]
  DiffGenは、微分可能な物理シミュレーション、微分可能なレンダリング、ビジョン言語モデルを統合する新しいフレームワークである。 言語命令の埋め込みとシミュレートされた観察の埋め込みとの距離を最小化することにより、現実的なロボットデモを生成することができる。 実験によると、DiffGenを使えば、人間の努力やトレーニング時間を最小限に抑えて、ロボットデータを効率よく、効果的に生成できる。
  論文  参考訳（メタデータ） (2024-05-12T15:38:17Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Human-in-the-Loop Imitation Learning using Remote Teleoperation [72.2847988686463]
  6-DoF操作設定に合わせたデータ収集システムを構築します。 システムによって収集された新しいデータに基づいて,ポリシーを反復的にトレーニングするアルゴリズムを開発した。 介入型システムで収集したデータに基づいて訓練されたエージェントと、非介入型デモ参加者が収集した同等数のサンプルで訓練されたアルゴリズムを上回るエージェントを実証する。
  論文  参考訳（メタデータ） (2020-12-12T05:30:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。