論文の概要: InstructMove: A Text-Indispensable Benchmark for Instruction-Following Manipulation
- arxiv url: http://arxiv.org/abs/2608.22990v1
- Date: Mon, 24 Aug 2026 08:53:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.001631
- Title: InstructMove: A Text-Indispensable Benchmark for Instruction-Following Manipulation
- Title（参考訳）: InstructMove: インストラクション追従操作のためのテキスト不要ベンチマーク
- Abstract要約: InstructMoveは命令追従操作のためのテキスト不必要なベンチマークである。
InstructMoveは、InstructMoveトレーニングデータとホールドアウト評価タスクを備えたTrain-evalプロトコルをサポートする。
代表的なVLAポリシによる実験では、InstructMoveは視覚的ショートカットを診断するためのコントロールされたテストベッドを提供する。
- 参考スコア（独自算出の注目度）: 24.530150557492934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language-action (VLA) models have made general-purpose robot manipulation increasingly plausible by conditioning robot actions on natural-language instructions. A key test of such generality is whether policies actually follow language instructions. Yet many manipulation benchmarks leave this ability underdetermined: the intended object or destination is often visually salient or uniquely feasible, allowing policies to succeed without grounding the instruction. We argue that instruction-following evaluation should be text-indispensable: multiple actions should be visually and physically plausible, while only one should be consistent with the language instruction. We introduce InstructMove, a text-indispensable benchmark for instruction-following manipulation. InstructMove instantiates this principle in pick-and-place scenes with semantic distractors, decomposing instruction following into category identification, attribute discrimination, spatial reasoning, and compositional pick-and-place. InstructMove supports a train-eval protocol with InstructMove training data and held-out evaluation tasks, with additional diagnostics for language dependence. Experiments with representative VLA policies show that InstructMove provides a controlled testbed for diagnosing visual shortcuts and that InstructMove simulation data can improve real-world instruction-following manipulation performance. Code: https://github.com/HorizonRobotics/RoboOrchardSim
- Abstract（参考訳）: 視覚-言語-アクション(VLA)モデルは、自然言語命令にロボットアクションを条件付けることで、汎用ロボットの操作がますます可能になっている。
そのような一般性の鍵となるテストは、ポリシーが実際に言語命令に従うかどうかである。
目的のオブジェクトや宛先は、しばしば視覚的に健全で、一意的に実現可能であり、命令を根拠にすることなくポリシーを成功させることができる。
複数のアクションは視覚的かつ物理的に妥当であり、一方は言語命令と整合性を持つべきである。
InstructMoveは命令追従操作のためのテキスト不必要なベンチマークである。
InstructMoveはこの原則を、セマンティックな注意散らし、カテゴリー識別、属性識別、空間的推論、構成的ピック・アンド・プレイスといった命令を分解して、ピック・アンド・プレイス・シーンでインスタンス化する。
InstructMoveは、InstructMoveトレーニングデータとホールドアウト評価タスクを備えたTrain-evalプロトコルをサポートし、言語依存のさらなる診断を行う。
代表的VLAポリシーを用いた実験では、InstructMoveは視覚的ショートカットを診断するための制御されたテストベッドを提供し、InstructMoveシミュレーションデータは実世界の命令追従操作性能を改善することができる。
コード:https://github.com/HorizonRobotics/RoboOrchardSim
関連論文リスト
- Natural Language Instructions for Scene-Responsive Human-in-the-Loop Motion Planning in Autonomous Driving using Vision-Language-Action Models [2.2727733134290813]
doScenesは、noScenesのグラウンドトゥルースモーションにフリーフォーム命令をリンクする最初の実世界のデータセットである。
オープンソースMLLMベースのエンドツーエンド駆動フレームワークであるOpenEMMAを採用しています。
我々は、doScenesディレクティブを乗客スタイルのプロンプトとしてOpenEMMAのビジョン言語インタフェースに統合する。
論文 参考訳（メタデータ） (2026-02-04T03:44:56Z) - Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。
Instruct-Verify-and-Act(IVA)を提案する。
実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
論文 参考訳（メタデータ） (2025-08-22T10:54:33Z) - Improving Instruction-Following in Language Models through Activation Steering [58.876600545898675]
命令固有ベクトル表現を言語モデルから導出し,それに従ってモデルをステアリングする。
提案手法は,出力形式や長さ,単語の包摂といった制約に対するモデル適合性をいかに向上させるかを示す。
本研究は,アクティベーションステアリングが言語生成におけるきめ細かい制御に実用的でスケーラブルなアプローチを提供することを示す。
論文 参考訳（メタデータ） (2024-10-15T08:38:20Z) - Spatially-Aware Speaker for Vision-and-Language Navigation Instruction Generation [8.931633531104021]
SAS(Spatially-Aware Speaker)は、環境の構造的知識と意味的知識の両方を用いてよりリッチな命令を生成する命令生成装置である。
提案手法は,既存の命令生成モデルより優れ,標準指標を用いて評価する。
論文 参考訳（メタデータ） (2024-09-09T13:12:11Z) - NaturalVLM: Leveraging Fine-grained Natural Language for
Affordance-Guided Visual Manipulation [21.02437461550044]
多くの実世界のタスクは複雑な多段階推論を必要とする。
15個の異なる操作タスクからなるベンチマークであるNrVLMを導入する。
そこで本研究では,操作タスクをステップバイステップで完了させる新しい学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-13T09:12:16Z) - Answer is All You Need: Instruction-following Text Embedding via
Answering the Question [41.727700155498546]
本稿では、入力テキストに関する質問として命令を扱い、予測された回答を符号化して表現を得る新しい視点を提供する。
具体的には,抽象的質問応答タスクの言語モデルのみを微調整することで,この組込み解答のアイデアをインスタンス化するInBedderを提案する。
論文 参考訳（メタデータ） (2024-02-15T01:02:41Z) - VisIT-Bench: A Benchmark for Vision-Language Instruction Following
Inspired by Real-World Use [49.574651930395305]
VisIT-Benchは、命令追従型視覚言語モデルの評価のためのベンチマークである。
提案データセットは592個のテストクエリからなり,それぞれに人手による指示条件付きキャプションを付与した。
人的評価と自動評価の両方を用いて,モデルと参照間の品質ギャップを定量化する。
論文 参考訳（メタデータ） (2023-08-12T15:27:51Z) - Goal Representations for Instruction Following: A Semi-Supervised
Language Interface to Control [58.06223121654735]
本稿では,少数の言語データのみを用いて,共同画像と目標条件のポリシーを言語と併用する手法を提案する。
本手法は,言語を目標画像と一致させないラベル付きデータから埋め込みを学習することにより,実世界のロバストな性能を実現する。
ラベル付きデータの外部の言語命令に一般化して,様々な操作タスクをさまざまな場面で追従する命令を示す。
論文 参考訳（メタデータ） (2023-06-30T20:09:39Z) - Instruct2Act: Mapping Multi-modality Instructions to Robotic Actions
with Large Language Model [63.66204449776262]
Instruct2Actは、ロボット操作タスクのシーケンシャルアクションにマルチモーダル命令をマッピングするフレームワークである。
我々のアプローチは、様々な命令のモダリティや入力タイプを調節する上で、調整可能で柔軟なものである。
我々のゼロショット法は、いくつかのタスクにおいて、最先端の学習ベースのポリシーよりも優れていた。
論文 参考訳（メタデータ） (2023-05-18T17:59:49Z) - Modular Framework for Visuomotor Language Grounding [57.93906820466519]
自然言語の指導は、接地された言語とロボット工学の研究にとって貴重なテストベッドとして機能する。
本稿では,言語,行動,視覚的タスクを個別に学習可能なモジュールに構造化することを提案する。
論文 参考訳（メタデータ） (2021-09-05T20:11:53Z) - Translating Natural Language Instructions to Computer Programs for Robot
Manipulation [0.6629765271909505]
自然言語命令をPython関数に翻訳し、オブジェクト検出器の出力にアクセスしてシーンをクエリすることを提案する。
提案手法は,ロボットの動作を直接予測するニューラルネットワークの訓練よりも優れた性能を示す。
論文 参考訳（メタデータ） (2020-12-26T07:57:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。