論文の概要: Rephrase Before You Act: Characterizing and Mitigating Language Sensitivity in Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2610.10526v1
• Date: Wed, 07 Oct 2026 17:57:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.098831
• Title: Rephrase Before You Act: Characterizing and Mitigating Language Sensitivity in Vision-Language-Action Models
• Title（参考訳）: 行為前の言い換え:視覚言語行動モデルにおける言語感性の特徴と緩和
• Abstract要約: 視覚言語アクションモデル(VLA)は命令のフレーズに非常に敏感である。 我々は,この感度を統計的に検証されたシングルエジット・スウィングとオラクル・フレーズ・サーチで特徴付ける。 言い換えだけでは、分配タスクと分配タスクの21ポイントの差をほぼ埋めることを示す。
• 参考スコア（独自算出の注目度）: 2.756799182619788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language-action models (VLAs) are strikingly sensitive to instruction phrasing and do not inherit the language robustness of the vision-language models they are built on. A one-word edit can move success by tens of points: $π_{0.5}$ turns on a LIBERO stove 100% of the time for "switch on the stove" and 2% for "switch on the hot plate", and a $π_0$ checkpoint finetuned with rephrase augmentation still shows swings of up to 61 points. We characterize this sensitivity with statistically tested single-edit swings and an oracle phrase search, which shows that phrasing alone nearly closes the 21-point gap between in-distribution and out-of-distribution tasks. We then reduce it without modifying the policy. Because the sensitivity is systematic, it can be expressed as explicit rules: we score many phrasings of a few training tasks, have a large language model distill the evidence into ten to twenty rephrasing rules, and at deployment rewrite each incoming instruction once under these rules. The rules improve the frozen $π_0$ by 16 to 27% relative on twelve held-out tasks across adversarial, VLM-generated, and human-generated phrasings, with gains concentrated on out-of-distribution tasks. The pipeline replicates on $π_{0.5}$ and LIBERO, lifting in-finetune success from 93.6% to 97.8%. The method requires no retraining and no per-step verification, and applies zero-shot to unseen tasks and instructions. Project website: https://sttawm.github.io/rephrase-before-you-act
• Abstract（参考訳）: 視覚言語アクションモデル(VLA)は、命令の表現に非常に敏感であり、構築された視覚言語モデルの言語ロバスト性を継承しない。 π_{0.5}$ turn on a LIBERO stove for "switch on the stove", and 2% for "switch on the hot plate", and $π_0$ checkpoint finetuned with rephrase augmentation has shows of 61 points. 我々は,この感度を,統計的に検証されたシングルエジット・スウィングとオラクル・フレーズ・サーチで特徴づける。 そして、ポリシーを変更することなく、それを削減します。 私たちは、いくつかのトレーニングタスクの多くのフレーズをスコアし、大きな言語モデルで証拠を10から20のリフレージングルールに蒸留し、配置時に、これらのルールの下で各入力命令を一度書き換える。 凍結した$π_0$を16～27%改善し、敵、VLM生成、人為的生成のフレーズを12つの保留タスクで比較し、アウト・オブ・ディストリビューションタスクに集中する。 パイプラインはπ_{0.5}$とLIBEROで複製され、インフィニチューンの成功率は93.6%から97.8%に上昇した。 この方法は、再訓練もステップごとの検証も必要とせず、目に見えないタスクや命令にゼロショットを適用する。 プロジェクトウェブサイト:https://sttawm.github.io/rephrase-before-you-act

関連論文リスト

• When Instructions Retrieve Trajectories: Diagnosing and Mitigating Generalization Failures in VLA Models [18.16273179954973]
  視覚言語アクション(VLA)モデルは、分配タスクで90%以上の成功を達成できる。 ポリシーは言語と視覚の両方に反応するが、それらを組み合わせてタスクが必要とするアクションを選択することはない。 細調整された$_0.5$とGR00T-N1.7ポリシーの振る舞い解析により、ロールアウトが失敗した場合、ソースの動作を維持したり、別のデモタスクに切り替えたりすることが多いことが明らかになった。
  論文  参考訳（メタデータ） (2026-09-30T15:34:57Z)
• Your Model Already Knows Don't Teach It, Learn to Ask It: Soft Prompting for Few-Shot Adaptation of Vision-Language Models [36.10583933406835]
  航空、産業、医療画像などの領域外設定において、視覚言語モデル(VLM)を用いた数発の物体検出に対処する。 既存の適応法は離散的なプロンプト最適化とLoRA微調整である。 ソフトプロンプトでは、トレーニング済みのバックボーンが凍結されている間、少数の連続プロンプトトークンが最適化される。
  論文  参考訳（メタデータ） (2026-09-10T09:38:11Z)
• REFACTOR-VLA: Unsupervised Library Learning of Typed Motor Programs [0.0]
  ほとんどの視覚言語アクション(VLA)モデルはモノリシックである。 本稿では、再利用可能なスキルを学習するためのウェイク/スリープモデルシステムであるREFACTOR-VLAを紹介する。
  論文  参考訳（メタデータ） (2026-09-01T13:19:05Z)
• HKVLM: Faithful Query--Region Binding for Frozen-Detector Visual Grounding [1.4061915592167218]
  HKVLMは、参照クエリの埋め込みを共有空間内の検出提案にマッピングする軽量なフックを学習する。 HKVLMは、トレーニングされていない、トレーニング済みのマッチング-パーセプション結合制御よりも改善されていることを示す。 我々はHKVLMを,凍結した知覚下でのクエリ領域結合の診断およびメカニズムレベルの研究として紹介する。
  論文  参考訳（メタデータ） (2026-06-27T11:10:33Z)
• The Script Tax: Measuring Tokenization-Driven Efficiency and Latency Disparities in Multilingual Language Models [0.0]
  2つの正書法変種を同一言語内容と比較することにより,スクリプト税の定量化を行う。 mBERT と XLM-R にまたがって、高いフラッゲーションの正書法は、受精率を3.4倍に向上させる。 サブワードの断片化から「NLLパラドックス」を避けるために、文字単位のビット(BPC)を用いることで、情報コストが大幅に増加することが分かる。
  論文  参考訳（メタデータ） (2026-01-19T14:45:40Z)
• Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
  VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。 Instruct-Verify-and-Act(IVA)を提案する。 実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-22T10:54:33Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• On the Off-Target Problem of Zero-Shot Multilingual Neural Machine Translation [104.85258654917297]
  識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。 多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。 我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T12:43:31Z)
• PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.3725459417758]
  PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。 そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。 幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2022-04-03T22:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。