論文の概要: Tell Robot What Not to Do: A Negation Understanding Perspective
- arxiv url: http://arxiv.org/abs/2610.11952v1
- Date: Thu, 08 Oct 2026 13:39:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.056462
- Title: Tell Robot What Not to Do: A Negation Understanding Perspective
- Title(参考訳): ロボットにすべきでないことを教える:否定的理解の視点
- Abstract要約: 本稿では,視覚言語行動モデル(VLA)の否定的指示に従う方法について検討する。
パラメータ効率のよいプラグイン・アンド・プレイフレームワークであるNegaAlignを提案する。
11.6Mのトレーニング可能なパラメータで、NegaAlignは否定命令の成功率を2.60%から88.45%に引き上げる。
- 参考スコア(独自算出の注目度): 37.30395942137601
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Instruction following enables robots to perform diverse tasks specified in natural language, making it a fundamental capability for human-robot interaction. Beyond communicating desired outcomes, users also need to specify constraints on what not to do. We investigate how to enable vision-language-action models (VLAs) to follow negated instructions, where robots must accomplish task goals while respecting explicit exclusions. To this end, we propose NegaAlign, a parameter-efficient, plug-and-play framework that extends pretrained VLAs to follow negated instructions through image-language supervision alone. Specifically, we introduce Negation Transformation Layers into selected layers of the vision-language backbone to reshape intermediate instruction representations. Meanwhile, a teacher-guided alignment mechanism is designed to align instruction-relevant visual tokens, transferring action-relevant grounding from instructions that satisfy the negated constraint. The training phase uses supervision constructed from existing demonstrations and updates only the inserted layers, keeping all pretrained parameters frozen, including the action generator. We further introduce NegaBench, a simulation benchmark spanning 10 scenarios across five domains for systematically evaluating manipulation under negated constraints. Experiments across GR00T, $π_0$, and $π_{0.5}$ demonstrate consistent improvements in negated instruction following. With 11.6M trainable parameters, NegaAlign increases the negated-instruction success rate of $π_{0.5}$ from 2.60% to 88.45% on NegaBench and from 12.4% to 88.8% on real-world tasks, while retaining performance on affirmative instructions.
- Abstract(参考訳): 指示に従うことで、ロボットは自然言語で特定された多様なタスクを実行できる。
望ましい結果を伝えるだけでなく、ユーザはすべきでないことに関する制約も指定する必要がある。
本稿では,視覚言語行動モデル(VLA)が,ロボットが明示的な排除を尊重しながらタスク目標を達成するという,否定的な指示に従う方法を検討する。
この目的のために,パラメータ効率のよいプラグイン・アンド・プレイフレームワークであるNegaAlignを提案する。
具体的には、中間命令表現を再生成するために、視覚言語バックボーンの選択した層にネゲーション変換層を導入します。
一方、教師誘導型アライメント機構は、命令関連視覚トークンを調整し、否定的制約を満たす命令からアクション関連グラウンドを転送するように設計されている。
トレーニングフェーズでは、既存のデモから構築された監視を使用して、挿入されたレイヤのみを更新し、アクションジェネレータを含む事前トレーニングされたパラメータをすべて凍結する。
さらに,否定的制約下での操作を体系的に評価するためのシミュレーションベンチマークであるNegaBenchを紹介した。
GR00T、$π_0$、$π_{0.5}$にわたる実験は、負命令に続く一貫した改善を示す。
11.6Mのトレーニング可能なパラメータで、NegaAlignはπ_{0.5}$の無効命令の成功率を、NegaBenchの2.60%から88.45%に、現実世界のタスクでは12.4%から88.8%に引き上げ、肯定的な命令では性能を維持している。
関連論文リスト
- Learning to Move Before Learning to Do: Task-Agnostic pretraining for VLAs [46.61554174146852]
Task-Agnostic Pretraining (TAP)は、安価な未ラベルのインタラクションデータから転送可能なモータの事前学習を行う2段階のフレームワークである。
SIMPLERベンチマークでは、TAPは100万以上の専門家の軌道上でトレーニングされたモデルと、ラベル付きデータの桁数を桁違いに削減する。
現実世界のWidowXプラットフォームでは、TAPは、インターネットスケールのベースラインが0%に崩壊するカメラの摂動の下で25%の成功を維持している。
論文 参考訳(メタデータ) (2026-07-02T17:33:37Z) - Decoupling Semantics and Geometric Grounding: Spatial Visual Prompts for Language-Conditioned Imitation Learning [21.67233368353003]
本稿では,アクション生成ループから空間的グラウンドを明示的に抽出する分離アーキテクチャであるSVP-ILを提案する。
実験では、SVP-ILは最先端のVLAや純粋なビジュモータベースラインよりも著しく優れている。
論文 参考訳(メタデータ) (2026-06-24T03:45:06Z) - How to Instruct Your Robot: Dense Language Annotations Power Robot Policy Learning [69.68882580009982]
デモセグメントをVLM生成アノテーションでラベル付けする2段階のアプローチであるDeMiAnを紹介する。
学習したインストラクターがタスク記述と初期シーンスナップショットをデプロイ時にタスクに適したアノテーションにマップする。
RoboCasaでは、インストラクターはタスクのみのベースラインで5ポイント成功し、タスクごとのオラクルの3ポイント以内に到達する。
論文 参考訳(メタデータ) (2026-05-16T16:52:08Z) - Natural Language Instructions for Scene-Responsive Human-in-the-Loop Motion Planning in Autonomous Driving using Vision-Language-Action Models [2.2727733134290813]
doScenesは、noScenesのグラウンドトゥルースモーションにフリーフォーム命令をリンクする最初の実世界のデータセットである。
オープンソースMLLMベースのエンドツーエンド駆動フレームワークであるOpenEMMAを採用しています。
我々は、doScenesディレクティブを乗客スタイルのプロンプトとしてOpenEMMAのビジョン言語インタフェースに統合する。
論文 参考訳(メタデータ) (2026-02-04T03:44:56Z) - Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。
Instruct-Verify-and-Act(IVA)を提案する。
実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
論文 参考訳(メタデータ) (2025-08-22T10:54:33Z) - NaturalVLM: Leveraging Fine-grained Natural Language for
Affordance-Guided Visual Manipulation [21.02437461550044]
多くの実世界のタスクは複雑な多段階推論を必要とする。
15個の異なる操作タスクからなるベンチマークであるNrVLMを導入する。
そこで本研究では,操作タスクをステップバイステップで完了させる新しい学習フレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-13T09:12:16Z) - Instruction Position Matters in Sequence Generation with Large Language
Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。
入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文 参考訳(メタデータ) (2023-08-23T12:36:57Z) - Mitigating Hallucination in Large Multi-Modal Models via Robust Instruction Tuning [92.85265959892115]
本稿では,Large-scale Robust Visual (LRV)-Instructionという,大規模かつ多様な視覚的インストラクションチューニングデータセットを紹介する。
本データセットは, GPT4が生成した400kの視覚的命令からなり, 16の視覚・言語的タスクをオープンエンドの指示と回答でカバーする。
LMMが生み出す幻覚を効果的に測定するために,人間の専門家による視覚指導のチューニングを安定的に評価するためのGAVIE(GPT4-Assisted Visual Instruction Evaluation)を提案する。
論文 参考訳(メタデータ) (2023-06-26T10:26:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。