論文の概要: CounterAlign: Counterfactual Supervision for Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2608.21740v1
- Date: Sat, 22 Aug 2026 02:43:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.432013
- Title: CounterAlign: Counterfactual Supervision for Vision-Language-Action Models
- Title（参考訳）: CounterAlign:ビジョン・ランゲージ・アクションモデルのための対実的スーパービジョン
- Abstract要約: 強化学習はそのような補正信号を提供することができるが、しばしば外部に指定された報酬や非専門的なデータに依存する。
本稿では,VLAモデルのオフラインRLを命令レバーベリングにより高密度な補正管理に変換可能であることを示す。
本手法は,強力な最先端ベースライン上でのオブジェクト位置とタスク摂動に対するロバスト性を向上させる。
- 参考スコア（独自算出の注目度）: 11.229017941425278
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models are typically trained with behavior cloning (BC) on expert demonstrations. However, BC provides only positive supervision for expert actions, without explicit negative supervision indicating which actions are instruction-inconsistent or otherwise inappropriate. Reinforcement learning (RL) can provide such corrective signals, but often relies on externally specified rewards or curated non-expert data, both of which are costly to obtain in robotics. We show that offline RL for VLA models need not rely on curated non-expert trajectories: successful expert demonstrations alone can be transformed into dense corrective supervision through instruction relabeling. Specifically, by pairing expert actions with mismatched alternative instructions, we synthesize counterfactual instruction-observation-action tuples from the dataset and combine them with adversarial discriminator training to learn an instruction-grounded reward model for offline RL, without collecting additional rollouts or annotations. On the robustness-focused LIBERO-PRO benchmark, our method improves robustness to object position and task perturbations over a strong state-of-the-art baseline. It also outperforms competitive baselines in real-robot experiments on the TX-G2 (compatible with AGIBot G2). More broadly, our results suggest that, for data-constrained VLA learning, extracting denser supervision from each demonstration can complement collecting additional data.
- Abstract（参考訳）: VLA(Vision-Language-Action)モデルは通常、専門家によるデモンストレーションで行動クローニング(BC)を訓練する。
しかし、BCは専門家の行動に対する肯定的な監督のみを提供しており、どの行動が命令に一貫性がないか、あるいは適切でないかを明示的な否定的な監督は行わない。
強化学習(Reinforcement Learning, RL)は、そのような補正信号を提供することができるが、しばしば外部で指定された報酬や非専門的なデータに依存する。
VLAモデルのオフラインRLは、訓練された非専門トラジェクトリに依存しないことを示す。
具体的には、専門家のアクションをミスマッチした代替命令と組み合わせることで、データセットから反実的命令-観測-アクションタプルを合成し、それを逆微分器のトレーニングと組み合わせ、オフラインRLのための命令-グラウンド報酬モデルを学ぶが、追加のロールアウトやアノテーションは収集しない。
本手法は,ロバスト性に着目したLIBERO-PROベンチマークにおいて,強い最先端のベースライン上でのオブジェクト位置とタスク摂動に対するロバスト性を改善する。
また、TX-G2(AGIBot G2と互換性のある)の実際のロボット実験において、競争上のベースラインを上回っている。
より広範に、データ制約付きVLA学習において、各デモンストレーションからより密集した監視を抽出することで、追加データの収集を補完できることが示唆された。
関連論文リスト
- PACT: Privileged Trace Co-Training for Multi-Turn Tool-Use Agents [57.69188221227875]
マルチターンツール利用エージェントのためのPrivileged trAce Co-Trainingフレームワークを提案する。
キーとなる考え方は、専門家のトレースをロールアウト時間ヒントではなく、トレーニング時の最適化信号としてのみ使用することだ。
PACT は強い SFT および RL ベースのベースラインよりも一貫して改善されていることを示す。
論文 参考訳（メタデータ） (2026-06-15T04:46:23Z) - Rethinking Visual-Language-Action Model Scaling: Alignment, Mixture, and Regularization [65.37179698521766]
VLA(Vision-Language-Action)モデルは、ジェネラリストロボットの制御を強く約束する。
標準的な「スケールデータ」レシピがロボット工学に翻訳されるかどうかはまだ不明だ。
本稿では,多様なロボットを対象とした事前学習のためのコアトレーニング選択を再考する,VLAスケーリングの体系的かつ制御された研究を提案する。
論文 参考訳（メタデータ） (2026-02-10T12:25:43Z) - Instructions are all you need: Self-supervised Reinforcement Learning for Instruction Following [58.60470643433354]
言語モデルは、現実世界のアプリケーションにとって重要なマルチ制約命令に従うのに苦労することが多い。
本稿では,外部監督に依存しないラベルフリーの自己監督型強化学習フレームワークを提案する。
本稿では,厳密な報酬問題に対処するために,制約分解戦略と効率的な制約ワイドバイナリ分類を導入する。
論文 参考訳（メタデータ） (2025-10-16T08:24:44Z) - Learning What to Do and What Not To Do: Offline Imitation from Expert and Undesirable Demonstrations [10.679604514849744]
我々は、データセットが専門家と望ましくない実証の両方を含む対照的な行動からオフラインの模倣学習を研究する。
本稿では,KLの相違点を専門家と望ましくない(あるいは悪い)データの状態-行動的訪問分布に対して最適化する新しい定式化を提案する。
本手法は, 対人訓練を回避し, 統一フレームワークにおける正と負の両方の実証処理を行う。
論文 参考訳（メタデータ） (2025-05-27T13:33:21Z) - SeRL: Self-Play Reinforcement Learning for Large Language Models with Limited Data [65.56911325914582]
限られた初期データを用いたLarge Language Models (LLM) トレーニングのブートストラップとして,SeRL(Se-play Reinforcement Learning)を提案する。
提案したSeRLは、その結果よりも優れ、検証可能な報酬を持つ高品質なデータと同等の性能が得られる。
論文 参考訳（メタデータ） (2025-05-25T13:28:04Z) - PROGRESSOR: A Perceptually Guided Reward Estimator with Self-Supervised Online Refinement [16.768912344111946]
本稿では,タスクに依存しない報酬関数をビデオから学習するフレームワークであるProgESSORを提案する。
ProGRESSORは、ロボットが外部の監督なしに複雑な動作を学習できるようにする。
論文 参考訳（メタデータ） (2024-11-26T04:17:51Z) - Unsupervised Continual Anomaly Detection with Contrastively-learned
Prompt [80.43623986759691]
UCADと呼ばれる新しい非教師付き連続異常検出フレームワークを提案する。
このフレームワークは、対照的に学習したプロンプトを通じて、UDAに継続的な学習能力を持たせる。
我々は総合的な実験を行い、教師なし連続異常検出とセグメンテーションのベンチマークを設定した。
論文 参考訳（メタデータ） (2024-01-02T03:37:11Z) - Language Models Are Poor Learners of Directional Inference [17.807086499130488]
LMはそのような方向推定を学習する能力に制限がある。
既存のデータセットは方向テストに失敗する。
既存の LM-prompting モデルは、無能な指向性エンターテイメント学習者である。
論文 参考訳（メタデータ） (2022-10-10T13:43:16Z) - Imitation by Predicting Observations [17.86983397979034]
本研究では, 連続制御タスクの課題に対して, 専門家に匹敵する性能を達成できる観測結果のみを模倣する新しい手法を提案する。
提案手法は, 逆RL目標から導出され, 専門家の観察結果の生成モデルを用いて学習した専門家の行動モデルを用いて模倣する。
本稿では,DeepMind Control Suiteベンチマークにおける強力なベースラインIRL法(GAIL)に対して,タスク非関連機能の存在下でGAILよりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2021-07-08T14:09:30Z) - Offline Learning from Demonstrations and Unlabeled Experience [62.928404936397335]
行動模倣(BC)は、専門家によるデモンストレーションにおける教師あり学習によって、報酬なしでポリシーをオフラインで訓練できるため、ロボット学習において実用的であることが多い。
このラベルのないデータは、人間の遠隔操作、スクリプト化されたポリシー、および同じロボット上の他のエージェントなど、さまざまなソースによって生成される。
オフライン強化学習(Offline Reinforced Learning, ORIL)は, ラベルのない経験を効果的に活用することにより, 同等のBCエージェントより一貫して優れていることを示す。
論文 参考訳（メタデータ） (2020-11-27T18:20:04Z) - Robust Disentanglement of a Few Factors at a Time [5.156484100374058]
変分オートエンコーダ(VAE)の整合性向上のための人口ベーストレーニング(PBT)を導入する。
PBT-VAEトレーニングでは、教師なしのモデルスコアとしてUnsupervised Disentanglement Ranking (UDR)を使用し、この方法でトレーニングされたモデルが、生成因子のサブセットのみを一貫して切り離す傾向を示す。
複数のデータセットとメトリクスをまたいで、最先端の教師なしのアンハンジメント性能とロバストネスを著しく改善したことを示す。
論文 参考訳（メタデータ） (2020-10-26T12:34:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。