論文の概要: Paraphrase Consensus Is Not Self-Consistency: Instruction Reliance and Robustness in VLA Policies

• arxiv url: http://arxiv.org/abs/2610.19438v1
• Date: Wed, 14 Oct 2026 02:30:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.901453
• Title: Paraphrase Consensus Is Not Self-Consistency: Instruction Reliance and Robustness in VLA Policies
• Title（参考訳）: パラフレーズ合意は自己整合性ではない--VLA政策における命令信頼とロバスト性
• Abstract要約: パラフレーズ・コンセンサス・ベース OpenVLA 16.8 は、トレーニング・インストラクションがメンバーである場合のポイントである。 1つのパラフレーズの同じメドイドは、グリーディの復号法を改善するが、訓練命令の-27.6点下にとどまる。
• 参考スコア（独自算出の注目度）: 4.5254381265704335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language-action (VLA) policies fine-tuned on LIBERO are trained and evaluated on the same ten instruction strings, and rewording the instruction changes base OpenVLA's success by -38.0 points. Test-time prompt ensembling, which improves language models, does not recover this loss in any setting we ran. Paraphrase consensus (the medoid action over K paraphrases) costs base OpenVLA 16.8 points when the training instruction is a member. Without it, the medoid of the paraphrases scores -32.4 points relative to the training instruction, and confidence-based selection scores -28.0. The same medoid over samples of one paraphrase improves on greedy decoding but stays -27.6 points below the training instruction, consistent with aggregation reducing variance without removing the bias the paraphrases share. A wrong-instruction probe measures how much of a policy's success depends on the instruction. Across three policies and four suites, paraphrases cost a policy only where this share is high, and the stronger policies lose a much smaller fraction of it than base OpenVLA. LoRA post-training on paraphrased instructions reduces the one-paraphrase effect to +2.0 points, against -32.0 for a matched control, reproduces across two seeds and on OpenVLA-OFT, transfers to withheld phrasings, and leaves the policy's reliance on the instruction unchanged.
• Abstract（参考訳）: LIBEROで微調整された視覚言語アクション(VLA)ポリシーは、同じ10個の命令文字列で訓練され、評価され、OpenVLAの成功を-38.0ポイントにリワードする。 言語モデルを改善するテストタイムプロンプトアンサンブルは、実行した任意の設定でこの損失を回復しません。 パラフレーズコンセンサス(Kパラフレーズに対するメドイドアクション)は、トレーニング指導がメンバーである場合、OpenVLA 16.8ポイントのコストがかかる。 それ無しでは、パラフレーズのメドイドはトレーニングの指示に対して-32.4点、信頼に基づく選択スコアは-28.0点となる。 1つのパラフレーズの同じメドイドは、グリーディの復号法を改善するが、訓練命令の -27.6 点下にとどまり、パラフレーズの共有するバイアスを取り除くことなく、分散を減少させる。 間違った指示プローブは、政策の成功のどれだけが指示に依存するかを測定する。 3つのポリシーと4つのスイートにまたがって、パラフレーズは、このシェアが高い場合にのみポリシーを犠牲にし、強力なポリシーは、ベースであるOpenVLAよりもはるかに小さな部分を失う。 言い換えられた指示に対するLoRAのポストトレーニングは、一致した制御のための32.0に対して+2.0ポイントまで減少し、2つの種とOpenVLA-OFTにまたがって複製し、保留されていないフレーズに転送し、命令へのポリシーの依存をそのまま残す。

関連論文リスト

• SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation [24.836022752759035]
  検証可能な報酬付き強化学習(RLVR)は,様々なタスクにおいて大規模言語モデル(LLM)を改善するための標準パラダイムとなっている。 我々は,自己指導型政策最適化(SIPO)と対照的な自己指導型政策最適化(SIPO)を提案する。
  論文  参考訳（メタデータ） (2026-09-29T05:15:41Z)
• BCPPO: Bachelier-Inspired Constrained Proximal Policy Optimization for Tail-Risk-Aware Safe Reinforcement Learning [0.5461938536945722]
  本稿では,BCPPO (Bachelier-Inspireed Constrained Proximal Policy Optimization) をポリシ最適化 (PPO) 手法として提案する。 異なるコスト予測ネットワーク(批評家)は、トレーニングデータにどの状態アクション領域が発生するかに敏感な予測を示す不一致を生成する。 飽和対応コントローラは、平均コストペナルティを調整し、そのペナルティが切断されている間に累積誤差が増大するのを阻止する。
  論文  参考訳（メタデータ） (2026-08-31T05:52:29Z)
• FIRE-VLA: Failure-Informed Self-Evolution for Vision-Language-Action Models in Autonomous Driving [1.4298580363875282]
  グループ相対ポリシー最適化は、各ロールアウトグループ内の報酬差から学習する。 Fire-VLAは、未解決の失敗を次のポリシーの特権的な監督に変換する。 150の保持されたnuScenesシーンの6,019の例では、FIRE-VLAは同等の単一サンプルプランニングを維持している。
  論文  参考訳（メタデータ） (2026-08-13T15:53:24Z)
• LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL [64.4276583943816]
  検証不能な指導のための強化学習は、報酬信号としてプロンプト固有のルーリックを持つ裁判官に依存している。 最近の手法は、トレーニング中にこれらのルーリックを進化するポリシーに適応させるが、トレーニングのプロンプト自体は静的のままである。 この静的なアプローチは、しばしば急激な困難と政策能力の間に重大なミスアライメントをもたらし、裁判官は差別的な報酬信号を取り戻すことができない。
  論文  参考訳（メタデータ） (2026-07-05T17:05:13Z)
• Learning from Mistakes: Rollout-Retrieval Lifelong Policy Learning for Autonomous Driving [18.991437941136876]
  本稿では,生涯学習の観点から自律運転政策の改善について考察する。 本稿では,リカバリ可能な政策誘導ミスから是正対象を抽出する政策学習フレームワークであるロールアウト・リトリーバル・ライフロング・ポリシー・ラーニング(R$2$LPL)を提案する。 R$2$LPL を大規模閉ループ nuPlan ベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-06-29T16:37:50Z)
• VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
  GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。 アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。 本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
  論文  参考訳（メタデータ） (2026-06-18T09:44:12Z)
• Self-Distilled Policy Gradient [51.95967256628261]
  都市の自己蒸留は、スパース・リワード強化学習のための密集した監督源として有望である。 SDPGは,グループ相対検証の利点と正規化標準偏差を組み合わせた,自己蒸留型政策段階のフレームワークである。
  論文  参考訳（メタデータ） (2026-06-02T02:31:13Z)
• EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
  学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。 本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
  論文  参考訳（メタデータ） (2026-04-21T14:07:39Z)
• TAG: Target-Agnostic Guidance for Stable Object-Centric Inference in Vision-Language-Action Models [59.13964209628383]
  VLA(Vision-Language-Action)ポリシーは、言語指示や視覚的な観察をロボット行動にマッピングする上で大きな進歩を見せている。 本稿では,VLA政策における乱れや外見に起因したバイアスを明示的に軽減する単純な推論時ガイダンス機構であるTAG(Target-Agnostic Guidance)を提案する。 我々は, LIBERO, LIBERO-Plus, VLABenchなどの標準操作ベンチマーク上でTAGを評価し, クラッタ下での堅牢性を一貫して改善し, ニアミスや不正なオブジェクト実行を減らす。
  論文  参考訳（メタデータ） (2026-03-25T17:56:32Z)
• PCL: Peer-Contrastive Learning with Diverse Augmentations for Unsupervised Sentence Embeddings [69.87899694963251]
  本稿では,多彩な拡張を伴う新しいピアコントラスト学習(PCL)を提案する。 PCLは、教師なし文の埋め込みのために、グループレベルで様々な対照的な正と負を構成する。 PCLはピア陽性のコントラストとピアネットワークの協調が可能である。
  論文  参考訳（メタデータ） (2022-01-28T13:02:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。